做數(shù)據(jù)的人幾乎都會(huì)碰到一個(gè)需求一張Excel表里混著好幾類數(shù)據(jù)領(lǐng)導(dǎo)說“按某一列的值拆一下”把每個(gè)類別的數(shù)據(jù)單獨(dú)存成文件或者sheet發(fā)給對(duì)應(yīng)的人。這個(gè)事聽起來很簡單但你如果真拿鼠標(biāo)去篩選、復(fù)制、粘貼遇到幾千幾萬行數(shù)據(jù)或者要拆成幾十個(gè)分組時(shí)效率低不說還容易漏行、錯(cuò)行。所以我今天這篇文章就專門聊清楚一件事python怎樣按某一列值拆分Excel表格從原理到實(shí)操再到各種坑一次性講透給你一套能直接拿去用的方案順手解決后續(xù)可能遇到的數(shù)據(jù)類型、空值和文件命名問題。這篇文章適合幾類人一是天天和Excel打交道的運(yùn)營、財(cái)務(wù)、銷售支持想把重復(fù)操作自動(dòng)化二是剛學(xué)Python、想知道pandas到底怎么處理表格的新手三是已經(jīng)會(huì)點(diǎn)代碼但沒系統(tǒng)整理過拆分報(bào)表邏輯的開發(fā)者。不管你是哪種按下面的步驟走基本都能跑通。1. 先想清楚你要的拆分到底是哪一種1.1 三種最常見的拆分需求按某一列值拆分Excel表面上看是一件事實(shí)際落地時(shí)至少有三種不同需求第一種拆成多個(gè)獨(dú)立的Excel文件。比如原始表里有“部門”這個(gè)字段里面有銷售一部、銷售二部、銷售三部你需要把每個(gè)部門的數(shù)據(jù)分別存成“銷售一部.xlsx”“銷售二部.xlsx”“銷售三部.xlsx”然后通過郵件或者網(wǎng)盤發(fā)給對(duì)應(yīng)負(fù)責(zé)人。第二種拆成同一個(gè)工作簿里的多個(gè)sheet。還是按“部門”這個(gè)字段但最終只交付一個(gè)Excel文件文件里有三個(gè)sheet工作表名字分別是銷售一部、銷售二部、銷售三部。這種方式適合需要統(tǒng)一歸檔的場景發(fā)給別人的時(shí)候也只有一個(gè)附件不會(huì)丟文件。第三種按兩列以上組合拆分。比如按“年份”加“月份”拆表里有2023年1月、2023年2月、2024年1月……每個(gè)月份組合單獨(dú)一份。也可以按“地區(qū)”加“產(chǎn)品線”拆本質(zhì)是多個(gè)字段聯(lián)合作為分組條件。這三種需求的核心邏輯都差不多都是“分組-拆開-寫出”但寫代碼時(shí)細(xì)節(jié)不同。我最怕看到網(wǎng)上有人給一個(gè)萬能腳本說能解決所有拆分問題結(jié)果拿去一跑就是各種報(bào)錯(cuò)。原因很簡單不同需求的選擇不一樣比如輸出格式是多個(gè)文件還是一個(gè)文件分組的鍵是單列還是多列是否需要把拆出來的數(shù)據(jù)重新排序。所以開始之前我建議你停下來想三秒鐘問自己一句我到底要拆成文件還是拆成sheet1.2 為什么我推薦用Python而不是Excel自帶的篩選功能很多人第一反應(yīng)是我直接在Excel里按字段排序然后把相同值的行選中復(fù)制到一個(gè)新表里不就行了確實(shí)如果你只拆兩三組、每組幾百行手動(dòng)操作也沒問題。但一旦數(shù)據(jù)量大了Excel自身就卡更別說分組一多有幾十個(gè)、上百個(gè)你光切來切去就煩死。而且手動(dòng)操作最大的問題是不可復(fù)現(xiàn)下次來了一批新數(shù)據(jù)你又要從頭篩選一遍。也有人說用VBA。VBA確實(shí)能實(shí)現(xiàn)但VBA有個(gè)麻煩不是所有機(jī)器都允許運(yùn)行宏公司安全策略經(jīng)常把宏給禁了Excel版本不同彈出的安全提示也不一樣。另外VBA寫起來語法對(duì)沒接觸過程序的人來說并不友好出了錯(cuò)不好查。相比之下Python腳本有幾個(gè)天然優(yōu)勢一次寫好以后數(shù)據(jù)更新了直接重跑一遍對(duì)Excel版本和操作系統(tǒng)不太挑還能順手把統(tǒng)計(jì)匯總、格式清理一起做了最重要的是用pandas處理幾萬行、幾十萬行的數(shù)據(jù)都毫無壓力這是手工操作比不了的。我見過一個(gè)例子一個(gè)做電商運(yùn)營的朋友每月要按“店鋪名稱”字段把后臺(tái)導(dǎo)出的Excel拆給幾十個(gè)店長以前光這個(gè)活就要一上午。后來我給他寫了個(gè)20行的Python腳本再配合定時(shí)任務(wù)這事直接變成全自動(dòng)每月幾分鐘搞定。這就是為什么我一直建議凡是需要重復(fù)執(zhí)行的Excel處理流程都值得用Python重寫一遍。2. 環(huán)境準(zhǔn)備5分鐘裝好Python工具鏈2.1 沒有Python怎么辦如果你電腦上還沒裝Python那就先解決這個(gè)問題。Windows用戶去Python官網(wǎng)下載安裝包安裝時(shí)注意勾選“Add Python to PATH”這個(gè)選項(xiàng)不然以后命令行里敲python會(huì)提示找不到命令。Mac用戶如果裝了Homebrew可以直接用brew install python沒裝的話去官網(wǎng)下載安裝包也行。Linux用戶更簡單系統(tǒng)一般自帶Python 3如果沒有用apt install python3之類的命令裝一下就行。裝完以后打開命令行工具Windows是cmd或者PowerShellMac是終端輸入python --version如果能看到Python版本號(hào)比如Python 3.11.4說明安裝成功。這里我不展開太多因?yàn)榫W(wǎng)上關(guān)于Python安裝的教程已經(jīng)很多了你搜“python 安裝教程”就有大把。要注意的是如果你不想麻煩直接裝Anaconda也行它自帶Python和一堆常用的數(shù)據(jù)分析庫后面要用的pandas也在里面省事很多。2.2 安裝pandas和openpyxl我們要處理Excel光有Python還不夠需要安裝兩個(gè)核心庫pandas負(fù)責(zé)數(shù)據(jù)分組和拆分openpyxl負(fù)責(zé)讓pandas能讀寫.xlsx格式的Excel文件。在命令行里執(zhí)行下面兩行命令pip install pandas pip install openpyxl如果你用的是Anaconda可以用conda install pandas openpyxl。安裝的時(shí)候如果提示“pip不是內(nèi)部或外部命令”多半是剛才說的“Add Python to PATH”沒勾上重新裝一次Python勾上那個(gè)選項(xiàng)再重開命令行就行。這里我多解釋一句pandas本身不帶Excel處理功能它讀取Excel時(shí)需要一個(gè)“引擎”。老版本的.xls文件需要xlrd新版本的.xlsx文件需要openpyxl。你現(xiàn)在拿到的Excel文件基本都是.xlsx格式所以openpyxl必須裝。如果不裝代碼跑起來會(huì)報(bào)一個(gè)錯(cuò)誤ImportError: Missing optional dependency openpyxl。這算是高頻報(bào)錯(cuò)之一后面我還會(huì)再提到。2.3 動(dòng)手前先看一眼數(shù)據(jù)環(huán)境弄好之后千萬別急著寫拆分代碼。我見過太多人拿到文件就開始寫腳本結(jié)果讀了半天發(fā)現(xiàn)列名不對(duì)、字段類型不對(duì)報(bào)錯(cuò)報(bào)得莫名其妙。正確做法是先寫兩行代碼把文件結(jié)構(gòu)看清楚了再動(dòng)手import pandas as pd df pd.read_excel(原始數(shù)據(jù).xlsx, engineopenpyxl) print(df.head()) # 看前5行長什么樣 print(df.columns.tolist()) # 看所有列名 print(df.dtypes) # 看每列的數(shù)據(jù)類型df.head()會(huì)打印前5行數(shù)據(jù)df.columns.tolist()會(huì)輸出一個(gè)列表里面是所有的列名這樣你就能準(zhǔn)確知道自己要按哪一列拆列名拼寫是什么有沒有空格。df.dtypes則能告訴你每一列到底是什么類型比如“部門”列是object也就是文本“金額”列是int64或float64也就是數(shù)值。這幾個(gè)信息直接決定了后面拆分代碼怎么寫。我自己的習(xí)慣是先看df.shape看下數(shù)據(jù)規(guī)模比如(10000, 8)表示1萬行8列心里有數(shù)了再繼續(xù)。3. 核心實(shí)現(xiàn)按列值拆成多個(gè)文件的完整代碼3.1 groupby到底做了什么事pandas里拆分?jǐn)?shù)據(jù)最核心的方法就是groupby。我盡量用白話來解釋groupby的作用就是“按某一個(gè)字段把數(shù)據(jù)分組成一堆小表格”每個(gè)小表格里的數(shù)據(jù)都有相同的字段值。舉個(gè)例子原始表里有1000行數(shù)據(jù)其中“部門”字段有5種值那groupby(部門)之后就相當(dāng)于在內(nèi)存里生成了5個(gè)小表格第1個(gè)小表格里全是銷售一部的數(shù)據(jù)第2個(gè)小表格里全是銷售二部的數(shù)據(jù)以此類推。這個(gè)操作和我們手動(dòng)在Excel里“篩選-復(fù)制”本質(zhì)是一樣的但pandas在內(nèi)存里做這件事非?？鞄兹f行數(shù)據(jù)也是毫秒級(jí)完成。執(zhí)行完groupby之后你再用循環(huán)遍歷這些小表格把它們一個(gè)個(gè)寫到Excel文件里拆分就完成了。這個(gè)思路不算復(fù)雜但理解它非常重要因?yàn)楹竺娌还苁遣鸪啥辔募?、多sheet還是多列組合本質(zhì)上都是groupby之后“輸出方式不同”而已。3.2 先上完整代碼你復(fù)制就能用假設(shè)你有一個(gè)文件叫“原始數(shù)據(jù).xlsx”里面有個(gè)“部門”列你要按這個(gè)列把數(shù)據(jù)拆成多個(gè)獨(dú)立的Excel文件保存到“拆分結(jié)果”文件夾里。代碼如下import pandas as pd from pathlib import Path # 1. 配置區(qū) input_file 原始數(shù)據(jù).xlsx # 你的源文件路徑 split_column 部門 # 你要按哪一列拆分換成你自己的列名 output_dir Path(拆分結(jié)果) # 拆分后的文件保存目錄 # 2. 讀取數(shù)據(jù) df pd.read_excel(input_file, engineopenpyxl) # 3. 對(duì)拆分的列做預(yù)處理去掉首尾空格并統(tǒng)一轉(zhuǎn)為字符串 df[split_column] df[split_column].astype(str).str.strip() # 4. 確保輸出目錄存在 output_dir.mkdir(exist_okTrue) # 5. 按列值分組并逐個(gè)寫出 for group_name, group_df in df.groupby(split_column, dropnaFalse): # 處理文件名字符Windows不允許這些特殊符號(hào)出現(xiàn)在文件名里 safe_name .join(c for c in str(group_name) if c not in r\/:*?|).strip() if not safe_name: safe_name 空值 output_path output_dir / f{safe_name}.xlsx group_df.to_excel(output_path, indexFalse) print(f已生成: {output_path}共 {len(group_df)} 行)這段代碼直接復(fù)制到Python文件里運(yùn)行就能用你只需要改兩個(gè)地方input_file改成你的文件路徑split_column改成你實(shí)際要拆的列名。代碼有幾個(gè)細(xì)節(jié)我說一下。astype(str).str.strip()這一步非常關(guān)鍵。很多Excel表格里看起來一樣的值其實(shí)可能有的帶空格比如“銷售一部”和“銷售一部 ”在Excel里肉眼幾乎看不出來但pandas會(huì)當(dāng)它是兩個(gè)不同的值導(dǎo)致拆出來的文件比預(yù)期的多而且有的文件里只有幾行數(shù)據(jù)。先把所有值轉(zhuǎn)成字符串再去掉首尾空格能避免絕大多數(shù)“拆錯(cuò)的”問題。dropnaFalse這個(gè)參數(shù)的意思是如果“部門”列里有空單元格也把它單獨(dú)分成一組。默認(rèn)的groupby會(huì)把空值那一組丟掉這就意味著原始數(shù)據(jù)里有些行會(huì)憑空消失而你的領(lǐng)導(dǎo)或者同事可能恰恰需要那些“沒填部門”的數(shù)據(jù)。所以我建議你把它設(shè)為False寧可多拆一個(gè)文件出來也別丟數(shù)據(jù)。還有indexFalse意思是寫Excel時(shí)不要帶上pandas自動(dòng)生成的索引列。如果你把它漏了最后生成的每個(gè)文件第一列都會(huì)多出一列0、1、2、3……的數(shù)字雖然不致命但非常難看而且別人打開文件以后還會(huì)問“這列是什么”。3.3 文件命名和路徑這些細(xì)節(jié)決定腳本好不好用上面代碼里有一個(gè)safe_name的處理專門用來把不合適的文件名字符替換掉。Windows文件名不支持下劃線以外的這些字符\ / : * ? |。比如你的分類值本身就包含斜杠比如“2023/2024”那寫文件的時(shí)候會(huì)直接報(bào)錯(cuò)。我在做數(shù)據(jù)處理時(shí)確實(shí)見過類似情況。所以這個(gè)清洗邏輯屬于“用一次就知道有多重要”的細(xì)節(jié)直接留著就行。輸出目錄我用的是Path對(duì)象這是我比較推薦的做法。如果你用字符串拼接路徑比如f{output_dir}/{safe_name}.xlsx在Windows上沒問題但到了Mac或Linux上路徑分隔符不一樣容易出問題。用pathlib的話系統(tǒng)會(huì)自動(dòng)處理分隔符代碼的可移植性更好。做工程的人可能覺得無所謂但我一直堅(jiān)持腳本能跨一次平臺(tái)就少一次后續(xù)麻煩。另外建議你在本地建一個(gè)專門的輸出文件夾不要和源文件混在一起。這樣二次運(yùn)行腳本時(shí)可以直接把輸出文件夾清空重來不會(huì)把源文件覆蓋掉。我還見過有人把源文件放在桌面上腳本直接把拆分結(jié)果寫到桌面結(jié)果桌面一片混亂。整理習(xí)慣很重要真的。4. 升級(jí)玩法拆到多個(gè)Sheet、按多列拆分、自動(dòng)加匯總4.1 把數(shù)據(jù)拆到同一個(gè)工作簿的多個(gè)Sheet如果你不想生成一堆文件而是想生成一個(gè)Excel、里面多個(gè)sheet那代碼要稍微改一下。核心思路是用pd.ExcelWriter這個(gè)類允許我們往同一個(gè)Excel文件里寫多個(gè)工作表。代碼如下import pandas as pd df pd.read_excel(原始數(shù)據(jù).xlsx, engineopenpyxl) df[部門] df[部門].astype(str).str.strip() output_file 按部門拆分.xlsx with pd.ExcelWriter(output_file, engineopenpyxl) as writer: for group_name, group_df in df.groupby(部門, dropnaFalse): sheet_name str(group_name).replace(/, -).replace(\\, -)[:31] if not sheet_name: sheet_name 空值 group_df.to_excel(writer, sheet_namesheet_name, indexFalse) print(fSheet: {sheet_name}共 {len(group_df)} 行)這段代碼用到了ExcelWriter的上下文管理器寫法就是with ... as writer:這個(gè)結(jié)構(gòu)。它的好處是所有sheet寫完之后會(huì)自動(dòng)保存并關(guān)閉文件不會(huì)出現(xiàn)文件被占用的情況。如果你不用with寫完之后一定要記得writer.close()否則文件可能是壞的。這里有個(gè)特別容易踩的坑Excel的sheet名字長度不能超過31個(gè)字符而且不能包含\ / ? * [ ] :這些字符。如果你分組的值特別長或者包含斜杠直接寫到sheet_name里就會(huì)報(bào)錯(cuò)。所以我在代碼里做了兩步處理一是把斜杠替換成短橫線二是用切片[:31]截?cái)喑^31個(gè)字符的部分。這里我要多說一句切片截?cái)嗫赡軙?huì)造成一個(gè)問題如果兩個(gè)不同的分組截?cái)嘀竺忠粯雍髮懙臅?huì)覆蓋先寫的。比如“銷售一部華東區(qū)2024年上半年銷售數(shù)據(jù)匯總”和“銷售一部華東區(qū)2024年上半年銷售數(shù)據(jù)總覽”兩個(gè)都超過31字符截?cái)嗪罂赡芏甲兂伞颁N售一部華東區(qū)2024年上半年銷”導(dǎo)致后一個(gè)覆蓋掉前一個(gè)。所以如果分組值都比較長我建議你干脆給sheet名加個(gè)編號(hào)sheet_name f{idx}_{safe_name}用enumerate循環(huán)來生成序號(hào)這樣能避免覆蓋也能讓sheet順序更清晰。4.2 按兩列組合拆分很多真實(shí)業(yè)務(wù)不是按單列拆的而是按組合條件拆。比如電商后臺(tái)導(dǎo)出的訂單明細(xì)要按“年份”加“月份”拆成每個(gè)月一份制造行業(yè)的報(bào)表要按“工廠”加“產(chǎn)線”拆。這個(gè)場景用groupby也可以搞定區(qū)別在于分組字段傳一個(gè)列表import pandas as pd df pd.read_excel(原始數(shù)據(jù).xlsx, engineopenpyxl) # 先把分組字段都清洗干凈 for col in [年份, 月份]: df[col] df[col].astype(str).str.strip() output_dir Path(按年月拆分) output_dir.mkdir(exist_okTrue) for (year, month), group_df in df.groupby([年份, 月份], dropnaFalse): safe_key f{year}_{month} # 例如 2023_01 safe_key .join(c for c in safe_key if c not in r\/:*?|) output_path output_dir / f{safe_key}.xlsx group_df.to_excel(output_path, indexFalse) print(f已生成: {output_path}共 {len(group_df)} 行)這里注意groupby([年份, 月份])之后循環(huán)變量不再是一個(gè)值而是一個(gè)元組(year, month)所以我在代碼里用for (year, month), group_df in ...這種寫法。文件名就用2023_01這種組合看起來清晰也不容易沖突。如果你在讀取數(shù)據(jù)時(shí)發(fā)現(xiàn)“年份”列讀取進(jìn)來變成了比如2023.0這種帶小數(shù)點(diǎn)的數(shù)字不要慌那是因?yàn)樵瓉鞥xcel里這個(gè)列是浮點(diǎn)數(shù)格式。解決辦法就是在清洗時(shí)統(tǒng)一轉(zhuǎn)成int再轉(zhuǎn)字符串df[年份] df[年份].apply(lambda x: str(int(x)))。這個(gè)坑我在下一篇還會(huì)詳細(xì)說。4.3 拆完順便生成一個(gè)匯總表拆完文件之后你大概率還需要給領(lǐng)導(dǎo)回一個(gè)反饋每個(gè)分組有多少行、金額合計(jì)多少、占比多少。以前你可能要拆完文件以后手動(dòng)統(tǒng)計(jì)其實(shí)代碼里順手就能生成。我習(xí)慣在拆分的同時(shí)把每個(gè)分組的大小記錄下來最后寫到一個(gè)“匯總表.xlsx”里import pandas as pd df pd.read_excel(原始數(shù)據(jù).xlsx, engineopenpyxl) df[部門] df[部門].astype(str).str.strip() summary_rows [] with pd.ExcelWriter(拆分明細(xì).xlsx, engineopenpyxl) as writer: for group_name, group_df in df.groupby(部門, dropnaFalse): sheet_name str(group_name)[:31] group_df.to_excel(writer, sheet_namesheet_name, indexFalse) summary_rows.append({ 部門: group_name, 行數(shù): len(group_df), 金額合計(jì): round(group_df[金額].sum(), 2) if 金額 in df.columns else None, }) summary_df pd.DataFrame(summary_rows) summary_df.to_excel(拆分匯總.xlsx, indexFalse) print(summary_df)這里有一個(gè)細(xì)節(jié)不是每個(gè)表都有“金額”列所以我在求合計(jì)時(shí)加了一個(gè)if 金額 in df.columns判斷防止代碼跑到一半報(bào)KeyError。這種做法很值得養(yǎng)成習(xí)慣因?yàn)閿?shù)據(jù)處理腳本最大的特點(diǎn)就是數(shù)據(jù)永遠(yuǎn)是變化的這次有這個(gè)列下次可能就沒有了。多一層判斷代碼就穩(wěn)一點(diǎn)。5. 動(dòng)手前必須處理的數(shù)據(jù)坑空值、類型和超大文件5.1 空值和“看起來一樣”的臟值按列值拆分最大的敵人其實(shí)是空值和臟值。Excel表格是人填出來的什么人都有有人部門不填有人寫成“銷售一部”有人寫成“銷售一部 ”多一個(gè)空格有人把“財(cái)務(wù)部”寫成“財(cái)務(wù)”還有人用全角空格。這些在肉眼看來可能是小問題但pandas會(huì)嚴(yán)格按照值來判斷分組一個(gè)空格之差就會(huì)多出一個(gè)文件。針對(duì)這種情況我強(qiáng)烈建議在groupby之前加幾行預(yù)處理代碼df[split_column] ( df[split_column] .astype(str) # 統(tǒng)一轉(zhuǎn)成字符串避免數(shù)字和文本混淆 .str.strip() # 去掉首尾空格 .str.replace(r\s, , regexTrue) # 把中間多余空格也去掉 .replace(nan, 空值) # pandas空值轉(zhuǎn)成字符串后是nan )這幾行會(huì)把“銷售一部 ”和“銷售一部”合并成同一個(gè)分組也會(huì)把空值統(tǒng)一顯示成“空值”。你可能會(huì)問那用dropnaFalse不就行了其實(shí)dropnaFalse解決的是空行要不要保留的問題但如果空值經(jīng)過astype(str)之后變成了字符串nan它就不再是“空值”了dropnaFalse根本攔不住。所以正確的做法是先把空值填成一個(gè)你指定的字符串再參與分組。上面代碼里.replace(nan, 空值)就是這個(gè)目的。5.2 數(shù)據(jù)類型不統(tǒng)一的問題Excel里經(jīng)常有這種問題明明是一列編號(hào)有的單元格是數(shù)字1001有的是文本“1001”還有的是科學(xué)計(jì)數(shù)法。pandas讀取的時(shí)候整個(gè)列可能被識(shí)別成浮點(diǎn)數(shù)float64拆出來的文件名就是1001.0后面還帶個(gè)點(diǎn)?；蛘呱矸葑C號(hào)、訂單號(hào)這種長數(shù)字讀進(jìn)來直接變成1.00123e18一類的科學(xué)計(jì)數(shù)法非常難看。遇到這種情況我一般在讀表的時(shí)候就指定該列的類型。比如df pd.read_excel(原始數(shù)據(jù).xlsx, dtype{訂單號(hào): str})意思就是告訴pandas“訂單號(hào)”這一列別自動(dòng)猜類型了直接按字符串讀這樣能保住前導(dǎo)0和長數(shù)字。如果你拿到的文件不是自己生成的列名也不固定那就只能在預(yù)處理時(shí)把所有分組列統(tǒng)一轉(zhuǎn)字符串并按需去掉.0后綴df[split_column] df[split_column].apply( lambda x: str(int(x)) if isinstance(x, float) and x int(x) else str(x) )這個(gè)邏輯比較好理解如果值是1001.0這種浮點(diǎn)數(shù)而且小數(shù)點(diǎn)后面全是0那就轉(zhuǎn)成整數(shù)再變字符串最終得到“1001”否則就按原始字符串處理。這種小函數(shù)看起來很不起眼但遇到真實(shí)業(yè)務(wù)數(shù)據(jù)時(shí)經(jīng)常能救你一命。5.3 Excel特別大怎么辦Excel單表最多能放104萬行左右但實(shí)際上數(shù)據(jù)量到了幾十萬行用Excel打開都會(huì)很卡。pandas處理幾十萬行數(shù)據(jù)是沒問題的但有幾個(gè)邊界情況需要注意。第一個(gè)是內(nèi)存。如果你一次性用pd.read_excel讀一個(gè)幾十萬行的文件內(nèi)存占用會(huì)比較高但現(xiàn)代電腦一般還能扛住。如果文件真的大到內(nèi)存吃不消我建議你先把Excel另存為CSV格式再用pandas分塊讀取。pd.read_csv支持chunksize參數(shù)可以一次讀一部分處理完再讀下一部分但pd.read_excel不支持這個(gè)參數(shù)。網(wǎng)上有些文章會(huì)誤導(dǎo)你說read_excel也有chunksize其實(shí)沒有。如果你一定要處理超大的Excel文件可以試試openpyxl的只讀模式from openpyxl import load_workbook wb load_workbook(超大文件.xlsx, read_onlyTrue) ws wb.active然后用ws.iter_rows(values_onlyTrue)逐行遍歷按某列的值把每一行數(shù)據(jù)分組寫出去。這種方式內(nèi)存占用很小但代碼寫起來會(huì)麻煩很多。我的態(tài)度是如果數(shù)據(jù)大到pandas都吃力那可能Excel本身就不是合適的數(shù)據(jù)承載工具了建議考慮數(shù)據(jù)庫。還有一個(gè)小坑容易被人忽略源Excel文件如果被占用了比如正被Excel程序打開著Python再去讀就會(huì)報(bào)權(quán)限錯(cuò)誤。運(yùn)行腳本前最好把相關(guān)的Excel文件都關(guān)掉。如果你在Windows上遇到過“無法復(fù)制粘貼”“無法打開文件”之類的現(xiàn)象也多半是文件被某個(gè)進(jìn)程鎖定了先關(guān)程序再重試通常就能解決。6. 踩坑記錄高頻報(bào)錯(cuò)對(duì)照與我的處理習(xí)慣6.1 高頻報(bào)錯(cuò)速查表我從實(shí)際接手的大量Excel處理需求里整理出幾個(gè)最高頻的報(bào)錯(cuò)做成了一張表方便你直接對(duì)號(hào)入座報(bào)錯(cuò)信息原因解決辦法ImportError: Missing optional dependency openpyxl沒裝openpyxl無法讀取.xlsx文件命令行執(zhí)行pip install openpyxlValueError: Sheet name xxx is too longsheet名超過31個(gè)字符切片截?cái)嗷蚪osheet名加編號(hào)ValueError: FileNotFoundError: [Errno 2] No such file or directory文件路徑不對(duì)或者文件名拼錯(cuò)確認(rèn)源文件在當(dāng)前目錄下列名和實(shí)際一致KeyError: 部門拆分的列名在表里不存在常見于列名有空格或全角字符打印df.columns.tolist()核對(duì)列名PermissionError: [Errno 13] Permission denied輸出的文件正被Excel打開沒有寫權(quán)限關(guān)閉占用文件的Excel程序再重新運(yùn)行腳本TypeError: not supported between instances of str and int分組列里有混合類型字符串和數(shù)字排序時(shí)沖突先統(tǒng)一astype(str)轉(zhuǎn)字符串再分組文件名出現(xiàn)/導(dǎo)致報(bào)錯(cuò)分組值里包含Windows不支持的符號(hào)用代碼里的safe_name方案做字符清洗6.2 我自己踩過的坑希望你不用再踩第一個(gè)坑是輸出文件名重復(fù)。有一回我處理銷售報(bào)表按“門店”列拆分結(jié)果有好多門店名字一樣比如“北京朝陽店”出現(xiàn)了兩次原因是原始表里一個(gè)門店編碼對(duì)應(yīng)兩條不同的記錄但門店名相同。拆分以后后面一組直接覆蓋了前面一組數(shù)據(jù)丟得悄無聲息。從那以后我學(xué)乖了凡是拆文件我都會(huì)在代碼里加一個(gè)計(jì)數(shù)器如果文件名重復(fù)就自動(dòng)加后綴from collections import Counter name_count Counter() for group_name, group_df in df.groupby(split_column, dropnaFalse): safe_name str(group_name).strip() name_count[safe_name] 1 if name_count[safe_name] 1: safe_name f{safe_name}_{name_count[safe_name]}這樣哪怕真的有重名分組也不會(huì)互相覆蓋。數(shù)據(jù)安全第一多一個(gè)文件總比少一個(gè)文件強(qiáng)。第二個(gè)坑是文件名太長。Excel在文件系統(tǒng)層面其實(shí)支持很長的文件名但你如果用的是Windows系統(tǒng)默認(rèn)可能限制在255個(gè)字符以內(nèi)。有些業(yè)務(wù)場景的分組值特別長比如“某某項(xiàng)目2024年度客戶滿意度調(diào)研問卷回收數(shù)據(jù)整理”不截?cái)嗟脑拰懳募r(shí)會(huì)報(bào)錯(cuò)。所以我在生成文件名時(shí)通常會(huì)加一個(gè)最大長度限制比如只保留前50個(gè)字符。你根據(jù)自己的業(yè)務(wù)場景來調(diào)整這個(gè)數(shù)字即可。第三個(gè)坑是讀文件的時(shí)候沒有指定engine。有些老版本pandas在讀.xlsx時(shí)默認(rèn)用的是xlrd遇到新格式文件就會(huì)報(bào)錯(cuò)提示Excel file format cannot be determined。解決方法是顯式指定engineopenpyxl。我寫的示例代碼里都帶了engineopenpyxl目的就是避免版本差異帶來的兼容性問題。6.3 腳本寫完之后我建議你再做幾件小事腳本跑通一次不要急著收工我每次做類似工具都會(huì)再做三件事。第一拿一份數(shù)據(jù)量小、并知道正確結(jié)果的測試文件來驗(yàn)證。先拆一個(gè)只有幾十行的表人工核對(duì)拆出來的文件和預(yù)期是否一致確認(rèn)無誤再上真實(shí)數(shù)據(jù)。這不是浪費(fèi)時(shí)間而是避免“代碼跑得很順利結(jié)果全錯(cuò)”的尷尬。第二把源文件和拆分結(jié)果分開放。我的習(xí)慣是源文件放在data文件夾輸出放在output文件夾腳本放在根目錄。這樣一來即使運(yùn)行過程中有什么問題源文件也安全不會(huì)因?yàn)檎`操作被覆蓋。第三記錄一下運(yùn)行時(shí)間。如果是大文件用time模塊記一下腳本跑了多久對(duì)你以后優(yōu)化和安排定時(shí)任務(wù)都有參考價(jià)值。比如import time start time.time() # ...原有拆分邏輯... print(f耗時(shí): {time.time() - start:.2f} 秒)別小看這個(gè)時(shí)間記錄有了它你才能知道自己加了一行清洗代碼之后性能是不是明顯下降。最后分享一個(gè)小技巧如果你在公司里經(jīng)常要給別人傳腳本我特別建議你把Python腳本打包成一個(gè)簡單的小工具比如用pyinstaller打包成exe這樣對(duì)方電腦上連Python都不用裝雙擊就能運(yùn)行。打包命令很簡單pip install pyinstaller然后在命令行進(jìn)入腳本目錄執(zhí)行pyinstaller -F 拆分表格.py生成的exe文件在dist文件夾里。不過要注意打包后的exe文件體積會(huì)比較大而且殺毒軟件有時(shí)會(huì)誤報(bào)這個(gè)屬于正常現(xiàn)象不用太擔(dān)心。我個(gè)人在把這個(gè)技巧教給非技術(shù)同事之后反饋都很好對(duì)方再也不用問“我該怎么裝Python了”。把重復(fù)勞動(dòng)交給代碼一次投入長期受益這就是Python處理Excel這類事情最大的價(jià)值。