如果你問我做數(shù)據(jù)分析、跑機(jī)器學(xué)習(xí)預(yù)處理甚至只是平時(shí)處理 Excel 表格太卡、太費(fèi)手最值得花時(shí)間學(xué)的一個(gè) Python 庫(kù)是什么我大概率會(huì)先說 pandas。pandas 是 Python 數(shù)據(jù)處理領(lǐng)域繞不開的存在。它提供了一套類似 Excel 但又遠(yuǎn)比 Excel 靈活的數(shù)據(jù)結(jié)構(gòu)能讓你用代碼快速完成數(shù)據(jù)讀取、清洗、篩選、分組、統(tǒng)計(jì)、合并、時(shí)間序列處理等操作。凡是和數(shù)據(jù)打交道的人無論是數(shù)據(jù)分析師、算法工程師、運(yùn)維還是學(xué)生黨做課程設(shè)計(jì)都會(huì)在某個(gè)時(shí)刻和 pandas 撞個(gè)滿懷。這篇 pandas 入門文章我會(huì)從安裝開始把 Series、DataFrame、切片索引、數(shù)據(jù)類型轉(zhuǎn)換、缺失值處理這些核心基礎(chǔ)過一遍再把實(shí)際使用中容易踩的坑和排查思路整理出來最后用一份鳶尾花數(shù)據(jù)集完整演示一遍數(shù)據(jù)處理流程讓你不僅能看懂還能直接照著操作。適合誰來讀寫過一點(diǎn) Python、知道列表和字典是什么但還沒有系統(tǒng)學(xué)過 pandas 的人。如果你之前只是零零散散抄過幾段代碼不知道為什么要這么寫這篇文章會(huì)幫你把這些碎片串起來。1. pandas 到底在解決什么問題1.1 數(shù)據(jù)形態(tài)的轉(zhuǎn)變?cè)跊]有 pandas 之前我們要用 Python 處理表格數(shù)據(jù)通常只能靠嵌套列表或者字典列表硬扛。比如一個(gè)班級(jí)成績(jī)表用列表存大概是這樣的grades [ [張三, 數(shù)學(xué), 85], [張三, 語文, 92], [李四, 數(shù)學(xué), 78], ]這種結(jié)構(gòu)存起來沒問題但一旦要做條件篩選、按列求和、按姓名分組匯總代碼寫起來就會(huì)非常吃力。你得自己寫循環(huán)遍歷每一行還要手動(dòng)維護(hù)列名和列索引的對(duì)應(yīng)關(guān)系。數(shù)據(jù)量小還能忍上萬行數(shù)據(jù)之后就完全是災(zāi)難。pandas 做的第一件事就是把“數(shù)據(jù)”和“操作數(shù)據(jù)的語義”綁定起來。它把表格抽象成 DataFrame——每一列有列名每一行有行索引你可以用列名直接取數(shù)據(jù)可以用類似 SQL 的思維做篩選和分組甚至可以直接對(duì)接 Excel、CSV、數(shù)據(jù)庫(kù)。和 Excel 相比pandas 的最大優(yōu)勢(shì)是所有操作都可以腳本化、自動(dòng)化、可復(fù)現(xiàn)。你改一個(gè)參數(shù)重跑一遍腳本整個(gè)數(shù)據(jù)處理流程就更新完了不用像在 Excel 里那樣手工重復(fù)操作。1.2 pandas、NumPy 和 Matplotlib 的關(guān)系很多剛接觸 pandas 的人會(huì)被它和 NumPy、Matplotlib、scikit-learn 之間的關(guān)系搞糊涂。我打個(gè)比方NumPy 是底層數(shù)組地基pandas 是建在它上面的“精裝房”有自己的房間編號(hào)索引和門牌標(biāo)簽列名住起來舒服Matplotlib 是裝修工具負(fù)責(zé)把房子里的樣子畫出來而 scikit-learn 是把房子變成“可出租的商用空間”專門做機(jī)器學(xué)習(xí)建模。實(shí)際做數(shù)據(jù)分析時(shí)pandas 負(fù)責(zé)數(shù)據(jù)整理NumPy 負(fù)責(zé)數(shù)值計(jì)算Matplotlib 負(fù)責(zé)可視化最后送進(jìn) scikit-learn 跑模型這是一條非常標(biāo)準(zhǔn)的數(shù)據(jù)流水線。這篇文章雖然以 pandas 為主但到后面的實(shí)戰(zhàn)環(huán)節(jié)也會(huì)稍微演示它們?nèi)绾闻浜稀?.3 什么場(chǎng)景下適合用 pandas我自己判斷一個(gè)場(chǎng)景要不要引入 pandas通常就看三條數(shù)據(jù)是不是二維表結(jié)構(gòu)有行有列要不要做條件篩選、分組、聚合這類操作數(shù)據(jù)源頭是不是 CSV、Excel、SQL 這類常見格式。只要中了兩條直接用 pandas 基本不會(huì)錯(cuò)。像接個(gè)小 API 返回 JSON轉(zhuǎn)成 DataFrame 再處理也很快。只有一種情況我建議放棄 pandas那就是數(shù)據(jù)量大到單機(jī)內(nèi)存完全裝不下且查詢邏輯非常簡(jiǎn)單——這時(shí)候應(yīng)該考慮數(shù)據(jù)庫(kù)或分布式工具。但那是后話pandas 入門階段可以暫時(shí)不考慮性能瓶頸。2. 搭好環(huán)境裝對(duì)版本2.1 PyCharm 安裝 pandas 的兩種方式搜索熱詞里有人問“pycharm 怎么安裝 pandas 包”這確實(shí)是新手卡得最多的一步。其實(shí)說白了安裝第三方庫(kù)就是讓 Python 環(huán)境里多一份 pandas 的可用文件途徑無非命令行和 IDE 圖形界面兩種。第一種是命令行。在 PyCharm 底部自帶的 Terminal 里或者在你自己的終端里確認(rèn)當(dāng)前用的是哪個(gè) Python 環(huán)境后運(yùn)行pip install pandas如果網(wǎng)絡(luò)比較慢或者一直提示超時(shí)可以加國(guó)內(nèi)鏡像源。國(guó)內(nèi)速度快一點(diǎn)的方案pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple第二種是圖形界面。打開 PyCharm進(jìn)入 File - Settings - Project - Python Interpreter點(diǎn)右上角加號(hào)搜索 pandas選中后點(diǎn)擊 Install Package。這個(gè)方式的好處是可以直觀看到安裝進(jìn)度適合不習(xí)慣命令行的人。但核心邏輯還是一樣的把 pandas 裝到你當(dāng)前項(xiàng)目所綁定的 Python 解釋器里。最常見的報(bào)錯(cuò)是ModuleNotFoundError: No module named pandas翻譯過來就是當(dāng)前解釋器里沒有 pandas。多數(shù)情況是你終端里用哪個(gè) Python 裝的包和 PyCharm 里選的解釋器不是同一個(gè)只要在 PyCharm 里重新安裝一遍就能解決。2.2 pip 安裝背后的版本選擇有人問要不要指定版本。我的建議是入門階段直接裝最新穩(wěn)定版就行不用特別指定版本號(hào)。pandas 的 API 兼容性做得還不錯(cuò)常見操作在新版本里基本不會(huì)大改。但如果你是要跑一個(gè)老項(xiàng)目別人用的是 1.3.x你直接裝 2.x 就可能遇到某些函數(shù)的行為差異。穩(wěn)妥的做法是先看項(xiàng)目里有沒有requirements.txt或environment.yml有就按文件里的版本裝。安裝完成后可以用下面這段代碼檢查版本import pandas as pd print(pd.__version__)pd是 pandas 事實(shí)上的標(biāo)準(zhǔn)別名。你幾乎不會(huì)看到有人寫import pandas后全程用pandas.xxx()大家都約定俗成地寫成pd這也是你以后看別人代碼最常見的樣子。養(yǎng)成這個(gè)習(xí)慣和社區(qū)代碼保持一致能省很多麻煩。2.3 多環(huán)境管理更省心如果你裝了 Anaconda創(chuàng)建獨(dú)立虛擬環(huán)境比直接在 base 環(huán)境里塞包更干凈。比如conda create -n data python3.10 conda activate data pip install pandas這樣你之后裝一個(gè)很重的庫(kù)把環(huán)境搞壞了直接刪掉這個(gè)環(huán)境重新來就行不會(huì)影響到系統(tǒng) Python 或者其他項(xiàng)目。PyCharm 里也能配置新環(huán)境Settings - Project - Python Interpreter - Add Interpreter - Conda Environment選擇 Existing environment 或者新建一個(gè)都行。3. 兩個(gè)核心數(shù)據(jù)結(jié)構(gòu)先吃透它們3.1 Series帶標(biāo)簽的一維數(shù)組pandas 里有兩種最基本的數(shù)據(jù)結(jié)構(gòu)Series 和 DataFrame。Series 可以看成是“帶標(biāo)簽的一維數(shù)組”它既像 Python 字典又像一列 Excel 數(shù)據(jù)。最簡(jiǎn)單的創(chuàng)建方式import pandas as pd s pd.Series([10, 20, 30], index[a, b, c]) print(s)輸出長(zhǎng)這樣a 10 b 20 c 30 dtype: int64左邊是索引index右邊是值values。索引不一定要從 0 開始你可以給每一行賦予有意義的標(biāo)簽。取數(shù)據(jù)的時(shí)候既可以用位置也可以用標(biāo)簽print(s[0]) # 10按位置取 print(s[a]) # 10按標(biāo)簽取有人會(huì)覺得這和多維數(shù)組沒太大區(qū)別但 Series 真正有用的地方在于索引本身可以參與運(yùn)算對(duì)齊。比如兩個(gè) Series 做加法pandas 會(huì)按索引自動(dòng)對(duì)齊而不是機(jī)械地按下標(biāo)相加。這個(gè)特性在數(shù)據(jù)處理時(shí)非常實(shí)用但也經(jīng)常讓新手一臉懵后面我專門講一部分。3.2 DataFrame帶行列標(biāo)簽的二維表DataFrame 是 pandas 里最常用的主數(shù)據(jù)結(jié)構(gòu)。它就像一張 Excel 表格每一列是一個(gè) Series多個(gè) Series 共用一個(gè)行索引就拼成了 DataFrame。創(chuàng)建 DataFrame 的方式很多我用字典最順手import pandas as pd df pd.DataFrame({ name: [Alice, Bob, Cathy], age: [25, 32, 28], city: [北京, 上海, 廣州], }) print(df)輸出name age city 0 Alice 25 北京 1 Bob 32 上海 2 Cathy 28 廣州列名就是字典的鍵行索引默認(rèn)從 0 開始。你還可以自己指定行索引df pd.DataFrame(data, index[row1, row2, row3])這里有個(gè)細(xì)節(jié)值得注意pandas 會(huì)盡力推斷每列的數(shù)據(jù)類型。上面例子里age被推斷成int64字符串列會(huì)被推斷成object。推斷規(guī)則通常是按列整體看如果某一列混入了數(shù)字和字符串整列可能直接變成object。這個(gè)推斷機(jī)制是后來很多“類型不對(duì)”問題的根源。3.3 索引到底是怎么回事索引index是 pandas 區(qū)別于普通二維數(shù)組的核心。你可以把它理解成表格左側(cè)那列行號(hào)只不過它不一定是數(shù)字也可以是時(shí)間、字符串甚至多級(jí)索引。剛開始學(xué)不用太糾結(jié)多級(jí)索引但要記住三個(gè)概念index行索引df.index可以查看columns列索引也就是列名df.columns可以查看values真正存儲(chǔ)數(shù)據(jù)的那塊二維數(shù)組df.values返回 NumPy 數(shù)組。很多教程一上來就大談索引對(duì)齊新手容易迷失。我的建議是先記住“一行一列都要能找到名字”能做到這一點(diǎn)后面學(xué)loc、iloc就有了基礎(chǔ)。等到你真正遇到兩個(gè) DataFrame 合并后結(jié)果出現(xiàn) NaN再回頭理解索引對(duì)齊就水到渠成了。下面這張表可以幫你快速對(duì)照屬性作用返回類型df.index查看行索引Indexdf.columns查看列名Indexdf.values查看底層數(shù)據(jù)NumPy ndarraydf.dtypes查看每列數(shù)據(jù)類型Seriesdf.shape查看形狀行數(shù)、列數(shù)tuple4. 從讀取數(shù)據(jù)到基本操作邊用邊學(xué)最快4.1 用 Read 函數(shù)把文件讀進(jìn)來pandas 入門階段最常用的功能就是讀寫文件。讀 CSV 用pd.read_csv()讀 Excel 用pd.read_excel()讀 SQL 用pd.read_sql()。這里我先講 CSV因?yàn)樗畛Ｒ姸铱右沧疃?。df pd.read_csv(data.csv)讀進(jìn)來的df就是一個(gè) DataFrame。如果你只需要前幾行看看長(zhǎng)什么樣用df.head()想看看每列的數(shù)據(jù)類型和非空值統(tǒng)計(jì)用df.info()想看得數(shù)值型列的分布用df.describe()。這三句話我?guī)缀趺看文玫叫聰?shù)據(jù)都會(huì)先跑一遍相當(dāng)于給數(shù)據(jù)做個(gè)“體檢”。關(guān)于文件路徑最常見的問題是明明文件在項(xiàng)目文件夾里還是報(bào)FileNotFoundError。原因多半是當(dāng)前工作目錄和文件實(shí)際位置不一致。穩(wěn)妥的辦法是用絕對(duì)路徑或者在 PyCharm 里右鍵數(shù)據(jù)文件選擇 Copy Path粘貼到代碼里。如果是學(xué)生黨在實(shí)訓(xùn)平臺(tái)上做作業(yè)通常平臺(tái)會(huì)要求你把數(shù)據(jù)文件放在指定目錄或者直接調(diào)用內(nèi)置的數(shù)據(jù)加載函數(shù)看清題目要求就行。4.2 切片和索引行列定位的兩種邏輯pandas 的切片索引是新手最搞不清的地方熱搜詞里“pandas 基本操作切片索引”一直熱度不減原因就在這里。其實(shí) pandas 給了你兩套工具按標(biāo)簽取用loc按位置取用iloc。# 按行索引標(biāo)簽取 df.loc[0] # 取第一行標(biāo)簽為0的那行 df.loc[0, name] # 取第一行 name 列 # 按位置取 df.iloc[0] # 取第一行 df.iloc[0, 1] # 取第一行第二列 df.iloc[:, 0] # 取第一列所有行這里最容易翻車的地方在于df[0:2]雖然看似取前兩行但它用的是 Python 切片語法左閉右開而且只對(duì)行生效。如果你想按列篩選基本操作是df[name] # 取單列返回 Series df[[name, age]] # 取多列返回 DataFrame列篩選用方括號(hào) 列名行篩選更推薦用loc/iloc。這樣代碼讀起來語義明確不容易踩坑。還有一種使用頻率極高的篩選方式是布爾索引。例如篩選年齡大于 30 的人df[df[age] 30]不要覺得這個(gè)語法奇怪它背后是先算出df[age] 30這個(gè)布爾 Series再用它去索引原表。執(zhí)行順序是先比較再篩選。這也是 pandas 篩選數(shù)據(jù)最靈活、最強(qiáng)大的一種方式。4.3 數(shù)據(jù)類型轉(zhuǎn)換本質(zhì)是“告訴 pandas 你想要的類型”數(shù)據(jù)處理中經(jīng)常遇到類型不匹配的問題。例如你從 CSV 讀進(jìn)來一個(gè)2024-01-15它默認(rèn)是字符串你讀進(jìn)來一個(gè)12345它可能是字符串而不是整數(shù)。這時(shí)候就要顯式轉(zhuǎn)換類型。pandas 里最通用的轉(zhuǎn)換方法就是astype()df[age] df[age].astype(int) df[date] pd.to_datetime(df[date])astype()適合數(shù)值、字符串之間的轉(zhuǎn)換。日期列一般不用astype而是用pd.to_datetime()因?yàn)樗茏R(shí)別多種日期格式并統(tǒng)一轉(zhuǎn)成 pandas 的時(shí)間類型。數(shù)據(jù)類型轉(zhuǎn)換中最常見的坑是這樣的某列看起來全是數(shù)字但astype(int)卻報(bào)錯(cuò)。原因多半是列里藏著看不見的“臟數(shù)據(jù)”比如空格、換行符、逗號(hào)分隔符或者是真正的字符串“N/A”。解決辦法是先用字符串方法清洗df[price] df[price].str.replace(,, ).str.strip() df[price] pd.to_numeric(df[price], errorscoerce)這里errorscoerce的意思是把無法轉(zhuǎn)換的非法值變成缺失值NaN而不是直接讓程序崩潰。這個(gè)參數(shù)很有用能讓類型轉(zhuǎn)換在臟數(shù)據(jù)場(chǎng)景下安全繼續(xù)。4.4 缺失值處理pd.NA、NaN 和 dropna 雙劍合璧缺失值是數(shù)據(jù)分析里躲不掉的課題。pandas 里表示缺失值常見的有NaN來自 NumPy和pd.NApandas 引入的可空類型。大多數(shù)情況下你不需要刻意區(qū)分它們只要知道df.isna()或df.isnull()能判斷缺失值就行。處理缺失值策略一般分兩種刪除和填充。# 刪除含缺失值的行 df_clean df.dropna() # 填充缺失值 df_filled df.fillna(0) df_filled df.fillna(df[age].mean())dropna()默認(rèn)刪除“只要有一個(gè)缺失值就刪掉整行”。有些場(chǎng)景你只想刪除某列缺失的行需要傳subset參數(shù)df.dropna(subset[name])這個(gè)細(xì)節(jié)很容易被忽略但很實(shí)用。比如你想按“姓名”關(guān)聯(lián)數(shù)據(jù)姓名缺失的行干脆就沒必要留了而其他列有缺失還能繼續(xù)分析。填充缺失值時(shí)用均值、中位數(shù)填充數(shù)值列是常見的做法。不過要注意如果列是分類變量用眾數(shù)填充更合理如果是時(shí)間序列用前向填充methodffill也很常用。5. 常見報(bào)錯(cuò)與實(shí)戰(zhàn)排查技巧5.1 KeyError 和索引越界先分清你是按什么取的新手最常撞見的一個(gè)報(bào)錯(cuò)就是KeyError: xxx。這句話的意思通常是你想用名字去取一個(gè)不存在的列或索引。比如df[weight] # weight 這列根本不存在解決辦法也很簡(jiǎn)單先打印df.columns看看正確的列名到底是什么。我見過太多人因?yàn)閐f.columns里有個(gè)看不見的空格導(dǎo)致 KeyError 反復(fù)出現(xiàn)。如果用的是iloc取行遇到IndexError: single positional indexer is out-of-bounds那說明你要的位置超出了實(shí)際行數(shù)。注意iloc和loc的報(bào)錯(cuò)完全不一樣前者按位置取越界報(bào) IndexError后者按標(biāo)簽取沒這個(gè)標(biāo)簽報(bào) KeyError。這個(gè)區(qū)分能幫你快速定位問題出在哪一步。5.2 用 assert 檢查數(shù)據(jù)把錯(cuò)誤攔在源頭在數(shù)據(jù)處理腳本里assert很適合做數(shù)據(jù)質(zhì)量校驗(yàn)。比如你要求處理后的表必須有 10 列、沒有重復(fù)列名、某列不存在缺失值可以直接寫assert df.shape[1] 10, 列數(shù)不對(duì) assert df[id].notna().all(), id 列存在缺失值 assert df[age].between(0, 120).all(), 存在非法年齡如果條件不滿足程序會(huì)直接拋出異常把問題暴露在早期而不是讓壞數(shù)據(jù)一路跑到最后才爆雷。另外pandas 的測(cè)試模塊里還提供了pandas.testing.assert_frame_equal可以用來比較兩個(gè) DataFrame 是否完全相等from pandas.testing import assert_frame_equal assert_frame_equal(df1, df2)這個(gè)主要用于單元測(cè)試場(chǎng)景比如你寫了一個(gè)數(shù)據(jù)清洗函數(shù)可以用它驗(yàn)證函數(shù)的輸出是否符合預(yù)期。比較時(shí)會(huì)檢查列名、索引、數(shù)據(jù)類型、值內(nèi)容比手動(dòng)寫循環(huán)比較高效得多。5.3 時(shí)間序列處理先轉(zhuǎn)成 datetime 再操作熱搜詞里還提到“時(shí)間序列處理”這也是 pandas 一個(gè)非常強(qiáng)勢(shì)的領(lǐng)域。處理時(shí)間序列的第一步永遠(yuǎn)是先把時(shí)間列轉(zhuǎn)成datetime類型df[date] pd.to_datetime(df[date])轉(zhuǎn)成時(shí)間類型之后你才能使用.dt訪問器提取年、月、日、星期等信息df[year] df[date].dt.year df[weekday] df[date].dt.dayofweek如果要把時(shí)間列設(shè)為行索引以便做重采樣之類的時(shí)間序列分析可以df df.set_index(date) df.resample(M).mean() # 按月聚合時(shí)間序列處理常見的坑是時(shí)間格式不統(tǒng)一。比如有的行是2024/01/01有的行是2024-01-01pd.to_datetime一般能自動(dòng)解析但如果出現(xiàn)2024年1月1日這種格式還是得先手動(dòng)規(guī)范化。5.4 數(shù)據(jù)量大時(shí)的小優(yōu)化pandas 在數(shù)據(jù)量幾千萬行以上時(shí)容易變慢但入門階段更常遇到的問題是“代碼寫法太低效”。比如循環(huán)逐行更新 DataFrame 是一種性能災(zāi)難更推薦用向量化操作# 不推薦 for i in range(len(df)): df.loc[i, new_col] df.loc[i, col] * 2 # 推薦 df[new_col] df[col] * 2pandas 內(nèi)部基于 NumPy 做了大量?jī)?yōu)化盡量用整列計(jì)算避免 Python 級(jí)別的循環(huán)。還有一個(gè)常用技巧當(dāng)你只取一列做判斷時(shí)用df[country].value_counts()可以快速統(tǒng)計(jì)分組頻數(shù)比手動(dòng)groupby再count更省事。6. 用 iris 數(shù)據(jù)集完整跑一遍流程6.1 加載數(shù)據(jù)了解數(shù)據(jù)結(jié)構(gòu)鳶尾花數(shù)據(jù)集iris是機(jī)器學(xué)習(xí)里最經(jīng)典的示例數(shù)據(jù)之一非常適合演示 pandas 基本操作。你可以直接用 scikit-learn 提供的數(shù)據(jù)也可以從本地或在線資源讀取 CSV 版本。先用 pandas 載入并做“體檢”import pandas as pd from sklearn.datasets import load_iris iris load_iris() df pd.DataFrame(iris.data, columnsiris.feature_names) df[species] iris.target df[species] df[species].map({0: setosa, 1: versicolor, 2: virginica}) print(df.head()) print(df.info()) print(df.describe())head()看前五行確認(rèn)數(shù)據(jù)結(jié)構(gòu)對(duì)不對(duì)info()看各列是否有缺失值、類型是否正確describe()看數(shù)值列的均值、標(biāo)準(zhǔn)差、最小值、最大值能快速發(fā)現(xiàn)量綱差異。三行代碼走下來這個(gè)數(shù)據(jù)集長(zhǎng)什么樣基本就有數(shù)了。6.2 篩選分組找出規(guī)律接下來做幾個(gè)基本操作。比如只看 versicolor 品種的數(shù)據(jù)versi df[df[species] versicolor]按品種分組統(tǒng)計(jì)平均花萼長(zhǎng)度df.groupby(species)[sepal length (cm)].mean()想同時(shí)看多個(gè)列的統(tǒng)計(jì)量可以用agg()df.groupby(species).agg( sepal_mean(sepal length (cm), mean), petal_max(petal length (cm), max), )這一步能直觀看出不同品種之間存在明顯差異也給后續(xù)建模提供了很好的特征依據(jù)。我自己用 pandas 做這一類分析時(shí)特別喜歡把groupby和agg組合起來一次算完既清晰又高效。6.3 數(shù)據(jù)可視化與建模的前置準(zhǔn)備pandas 本身不帶特別強(qiáng)大的繪圖功能但它內(nèi)置的plot方法默認(rèn)調(diào)用 Matplotlib非常適合快速畫圖。導(dǎo)入方式是import matplotlib.pyplot as plt df.groupby(species)[sepal length (cm)].mean().plot(kindbar) plt.show()如果想把數(shù)據(jù)送進(jìn) scikit-learn 建模pandas 和 sklearn 的配合也基本是無縫的。準(zhǔn)備好特征矩陣X和目標(biāo)向量yX df[iris.feature_names] y df[species] from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 )可以看到pandas 在前半段負(fù)責(zé)把數(shù)據(jù)整理成規(guī)整的二維表sklearn 在后半段直接吃這份表。所以“pandas numpy matplotlib scikit-learn”這條工具鏈本質(zhì)上是同一個(gè)工作流里各司其職的四個(gè)環(huán)節(jié)。6.4 導(dǎo)出結(jié)果收尾勿忘分析完數(shù)據(jù)如果想把清洗后的結(jié)果保存下來pandas 提供了很便捷的導(dǎo)出功能df.to_csv(iris_clean.csv, indexFalse) df.to_excel(iris_clean.xlsx, indexFalse)導(dǎo)出 CSV 時(shí)記得加上indexFalse否則默認(rèn)會(huì)把行索引也寫進(jìn)文件多出一列無用數(shù)據(jù)。遇到 Excel 導(dǎo)出報(bào)錯(cuò)時(shí)大多數(shù)情況是缺少openpyxl庫(kù)裝上就行pip install openpyxl最后分享一個(gè)我自己常用的習(xí)慣每個(gè)數(shù)據(jù)處理腳本開頭先寫一行注釋說明這份數(shù)據(jù)來自哪里、要做什么每次讀入數(shù)據(jù)后立刻跑df.info()和df.head()每次導(dǎo)出結(jié)果前再跑一次assert檢查關(guān)鍵字段是否完整。這些習(xí)慣看起來不起眼但能幫你避免大量“數(shù)據(jù)文件到底在哪里”“結(jié)果為什么少了幾行”這類讓人頭大的問題。pandas 入門并不需要把所有函數(shù)都背下來先掌握文件讀取、loc/iloc切片、布爾篩選、groupby分組、astype類型轉(zhuǎn)換、缺失值處理這六板斧就已經(jīng)能覆蓋日常 80% 以上的數(shù)據(jù)處理需求。剩下的函數(shù)等你遇到具體問題再查文檔或者直接在搜索引擎里搜“pandas 怎么做某某操作”基本都能找到答案。這也是我這么多年用下來的真實(shí)體會(huì)pandas 不是一門記憶型學(xué)問而是一門操作型技能用多了手感自然就有了。