安装依赖
要使用Pandas从MinIO读取Excel文件,你需要先使用MinIO Python SDK从MinIO存储桶中下载文件,然后使用Pandas读取该文件。
安装必要的库:
pip install pandas minio -i https://pypi.tuna.tsinghua.edu.cn/simple
python 3 的方式
import pandas as pd
from minio import Minio
from io import BytesIO# MinIO 连接配置
# MinIO 连接配置
minio_client = Minio("localhost:9000", # MinIO服务器地址access_key="admin", # 访问密钥secret_key="admin", # 秘钥secure=False # 如果是https连接,设为True
)bucket_name = "test-read" # 存储桶名称
file_path = "测试/test.xlsx" # 文件在 MinIO 中的路径def read_csv_from_minio(minio_client,bucket_name, file_path):"""从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame:param bucket_name: 存储桶名称:param file_path: MinIO 中的文件路径:return: pandas DataFrame"""try:# 从 MinIO 下载文件内容response = minio_client.get_object(bucket_name, file_path)# 使用 BytesIO 包装文件内容,以便 pandas 读取# binary_data = response.read() # 将数据读取为字节df = pd.read_excel(BytesIO(response.data), sheet_name=1)return dfexcept Exception as e:print(f"读取文件失败,错误信息: {e}")return None# 调用函数并查看数据框
df = read_csv_from_minio(bucket_name, file_path)
if df is not None:print(df.head())
python 2
import pandas as pd
from minio import Minio
from StringIO import StringIO # MinIO 连接配置
# MinIO 连接配置
minio_client = Minio("localhost:9000", # MinIO服务器地址access_key="admin", # 访问密钥secret_key="admin", # 秘钥secure=False # 如果是https连接,设为True
)bucket_name = "test-read" # 存储桶名称
file_path = "测试/test.xlsx" # 文件在 MinIO 中的路径def read_csv_from_minio(minio_client,bucket_name, file_path):"""从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame:param bucket_name: 存储桶名称:param file_path: MinIO 中的文件路径:return: pandas DataFrame"""try:# 从 MinIO 下载文件内容response = minio_client.get_object(bucket_name, file_path)# 使用 BytesIO 包装文件内容,以便 pandas 读取# binary_data = response.read() # 将数据读取为字节df = pd.read_excel(StringIO(response.data), sheet_name=1)return dfexcept Exception as e:print(f"读取文件失败,错误信息: {e}")return None# 调用函数并查看数据框
df = read_csv_from_minio(bucket_name, file_path)
if df is not None:print(df.head())