企业官网建设流程全解析

我先尝试了市面上常见的几套方案：

👉 大量资料与 GPT 的技术建议都指向：CSV 是读取速度最快的格式（文本解析远快于 XML / PKG 结构）

但第一次用 CSV 时却发现速度不够快，排查后发现：

❌ 用代码转换 xlsx → csv，非常慢

✅ 用原生 Excel 手动转换为 CSV UTF-8，性能最高 （WPS 转的 CSV 不是 UTF-8，会导致解析异常，不推荐）

最终测试：CSV UTF-8 格式 → 读取 80 万行，仅需 8–9 秒

性能提升超过20 倍。

方案一（对比用）：XLSB 版本（3.5 分钟）

from pyxlsb import open_workbook def read_xlsb_to_3d_list(file_path, sheet_name, chunk_size=10000): result = [] current_chunk = [] row_count = 0 with open_workbook(file_path) as wb: with wb.get_sheet(sheet_name) as sheet: for i, row in enumerate(sheet.rows(), start=1): if i == 1: continue row_data = [cell.v for cell in row] current_chunk.append(row_data) row_count += 1 if row_count % chunk_size == 0: result.append(current_chunk) current_chunk = [] if current_chunk: result.append(current_chunk) return result

优点：能直接读取 xlsb缺点：速度慢，不适合百万级数据

最终推荐方案：CSV 超高速版本（9 秒内）

性能最佳的做法流程

1. 用 Excel 手动把.xlsx转为.csv (UTF-8)

2. 使用下面的纯 Python CSV 流式读取代码

高性能 CSV 方案代码

import csv def read_csv_as_3d_list(csv_path, batch_size=10000, encoding="utf-8"): all_data = [] batches = [] current_batch = [] with open(csv_path, "r", encoding=encoding, newline="") as f: reader = csv.reader(f) next(reader, None) # 跳过表头 for row in reader: all_data.append(row) current_batch.append(row) if len(current_batch) >= batch_size: batches.append(current_batch) current_batch = [] if current_batch: batches.append(current_batch) return [all_data, batches]

实测结果（80 万行）

• ⏱ 耗时：8–10 秒

• ✔ 内存占用稳定

• ✔ 三维结构满足 RPA 使用场景

• ✔ 影刀流程执行无卡顿

经验总结

1. 格式比工具更重要：CSV 是绝对的性能王者

XLSX 是压缩包 + XML，需要大量解析成本。

CSV 是纯文本，解析速度是数量级优势。

1. 不推荐用 WPS 转 CSV

WPS 导出的 CSV 默认编码不是 UTF-8，会导致解析异常。

1. 大文件一定要流式读取

不要一次性加载 DataFrame，否则内存和 CPU 都会爆。

1. 每 1 万行切片是最佳折中

可兼顾可视化和后续处理的性能。