Python中pandas组件学习总结

pandas 是 Python 中非常强大的数据处理和分析库，广泛应用于数据清洗、数据分析和数据可视化等领域。它的主要数据结构是 Series（一维数组）和 DataFrame（二维数据表），提供了丰富的功能来处理各种格式的数据,pandas 是数据分析和处理的核心工具，掌握它的基本操作及优化技巧能大大提升工作效率。
1. pandas 基础概念

Series

Series 是 pandas 的一维数组，类似于 Python 中的列表，但它可以附带标签（索引），用于标识每个元素。

import pandas as pd# 创建 Series
data = [10, 20, 30, 40]
index = ['a', 'b', 'c', 'd']
series = pd.Series(data, index=index)print(series)输出：a    10
b    20
c    30
d    40
dtype: int64

DataFrame

DataFrame 是 pandas 中的二维数据结构，类似于一个表格，拥有行和列，能够保存不同类型的数据。

# 创建 DataFrame
data = {'name': ['Alice', 'Bob', 'Charlie'],'age': [25, 30, 35],'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)print(df)输出：name  age         city
0    Alice   25     New York
1      Bob   30  Los Angeles
2  Charlie   35      Chicago

2. pandas 核心操作

索引和切片

使用 loc[] 和 iloc[] 进行数据的访问。

•	loc[]: 基于标签（索引名）进行访问
•	iloc[]: 基于位置（索引位置）进行访问

# 使用 loc[] 根据标签进行访问
print(df.loc[0])  # 访问第一行数据（通过标签）# 使用 iloc[] 根据位置进行访问
print(df.iloc[1])  # 访问第二行数据（通过位置）

添加、删除列和行

•	df['new_column'] = ...：添加列
•	df.drop(...)：删除行或列

# 添加新列
df['salary'] = [50000, 60000, 70000]
print(df)

# 删除列
df = df.drop(columns=['salary'])
print(df)

# 删除行
df = df.drop(index=1)
print(df)

数据筛选

通过条件筛选数据：

# 根据条件筛选数据
filtered_df = df[df['age'] > 30]
print(filtered_df)

数据排序

sort_values() 用于对数据进行排序。

# 根据某一列排序
df_sorted = df.sort_values(by='age', ascending=False)
print(df_sorted)

3. pandas 数据清洗

缺失值处理

•	isna() / notna()：检查缺失值
•	fillna()：填充缺失值
•	dropna()：删除缺失值

# 创建包含缺失值的 DataFrame
df_with_na = pd.DataFrame({'name': ['Alice', 'Bob', None],'age': [25, None, 35],'city': ['New York', 'Los Angeles', 'Chicago']
})

# 检查缺失值
print(df_with_na.isna())

# 填充缺失值
df_filled = df_with_na.fillna({'name': 'Unknown', 'age': df_with_na['age'].mean()})
print(df_filled)

# 删除缺失值
df_dropped = df_with_na.dropna()
print(df_dropped)

重复数据处理

•	duplicated()：检查重复行
•	drop_duplicates()：删除重复行

# 创建包含重复数据的 DataFrame
df_with_duplicates = pd.DataFrame({'name': ['Alice', 'Bob', 'Alice', 'Charlie'],'age': [25, 30, 25, 35],
})

# 检查重复行
print(df_with_duplicates.duplicated())

# 删除重复行
df_no_duplicates = df_with_duplicates.drop_duplicates()
print(df_no_duplicates)

4. pandas 聚合与分组

groupby

groupby 是 pandas 中强大的数据聚合工具。你可以按一个或多个列对数据进行分组，并对每个组应用聚合操作，如计算总和、均值等。

# 按 'city' 列分组并计算每组的平均年龄
grouped = df.groupby('city')['age'].mean()
print(grouped)

# 多列分组
grouped_multiple = df.groupby(['city', 'age']).size()
print(grouped_multiple)

聚合函数

可以使用 agg() 函数来进行更复杂的聚合操作。

# 使用 agg() 进行多种聚合
agg_result = df.groupby('city').agg({'age': 'mean', 'salary': 'sum'})
print(agg_result)

5. pandas 数据导入导出

读取文件

•	read_csv()：读取 CSV 文件
•	read_excel()：读取 Excel 文件
•	read_sql()：从 SQL 数据库读取数据

# 读取 CSV 文件
df_csv = pd.read_csv('file.csv')

# 读取 Excel 文件
df_excel = pd.read_excel('file.xlsx')

保存文件

•	to_csv()：保存为 CSV 文件
•	to_excel()：保存为 Excel 文件

# 保存 DataFrame 为 CSV 文件
df.to_csv('output.csv', index=False)

# 保存 DataFrame 为 Excel 文件
df.to_excel('output.xlsx', index=False)

6. pandas 高级功能

合并与连接

•	merge()：根据某一列或多列进行合并
•	concat()：按行或列拼接多个 DataFrame

# 合并 DataFrame
df1 = pd.DataFrame({'key': ['A', 'B', 'C'], 'value': [1, 2, 3]})
df2 = pd.DataFrame({'key': ['A', 'B', 'D'], 'value': [4, 5, 6]})

merged_df = pd.merge(df1, df2, on=‘key’, how=‘inner’) # 内连接
print(merged_df)

# 拼接 DataFrame
concatenated_df = pd.concat([df1, df2], axis=0)  # 按行拼接
print(concatenated_df)

透视表与交叉表

•	pivot_table()：创建透视表
•	crosstab()：创建交叉表

# 透视表
pivot_table = df.pivot_table(values='age', index='city', aggfunc='mean')
print(pivot_table)

# 交叉表
crosstab_result = pd.crosstab(df['city'], df['age'])
print(crosstab_result)

7. pandas 使用注意事项

性能优化

•	避免使用 for 循环：尽量避免使用 for 循环逐行处理 DataFrame，而是利用 pandas 内置的向量化操作。

# 推荐：向量化操作
df['age'] = df['age'] + 1

# 不推荐：使用循环
for index, row in df.iterrows():df.at[index, 'age'] = row['age'] + 1

•	避免使用 apply()：虽然 apply() 可以实现自定义函数，但它比向量化操作慢，应尽量避免使用。

内存管理

•	pandas 对内存的消耗较大，特别是在处理大量数据时。可以使用 dtype 参数来优化内存占用。

# 优化内存占用
df = pd.read_csv('file.csv', dtype={'age': 'int32', 'salary': 'float32'})

日期时间处理

•	pandas 在处理日期和时间时非常强大，可以使用 pd.to_datetime() 来转换日期，使用 .dt 提取日期时间的各个部分。

# 转换为日期格式
df['date'] = pd.to_datetime(df['date'], format='%Y-%m-%d')

# 提取日期的年、月、日
df['year'] = df['date'].dt.year
df['month'] = df['date'].dt.month
df['day'] = df['date'].dt.day

总结