簡介基于Python的財(cái)務(wù)信用分析項(xiàng)目資料包整合了財(cái)務(wù)數(shù)據(jù)集、Python源碼與論文草稿面向金融風(fēng)控領(lǐng)域的數(shù)據(jù)分析學(xué)習(xí)者、科研人員和競賽選手可用于構(gòu)建信用評(píng)分模型、預(yù)測信貸風(fēng)險(xiǎn)。資源共23個(gè)文件壓縮包僅2.2MB涵蓋7個(gè)Python腳本負(fù)責(zé)數(shù)據(jù)清洗、特征工程與模型訓(xùn)練、5個(gè)Excel和4個(gè)CSV數(shù)據(jù)文件存放收入、負(fù)債、信用歷史等財(cái)務(wù)指標(biāo)、2個(gè)MAT數(shù)據(jù)文件以及論文PDF、答辯PPT、中英文答辯講義和README說明文檔目錄結(jié)構(gòu)清晰。已有181人瀏覽學(xué)習(xí)。適合希望完整走通“數(shù)據(jù)預(yù)處理→特征工程→模型評(píng)估”流程的讀者既能通過源碼復(fù)現(xiàn)實(shí)驗(yàn)也可借助論文與答辯材料理解項(xiàng)目設(shè)計(jì)思路是一份兼具代碼、數(shù)據(jù)和文檔的實(shí)用型參考資源。1. 一個(gè)內(nèi)含數(shù)據(jù)集和論文的Python財(cái)務(wù)信用分析包價(jià)值在哪里拿到“基于python的財(cái)務(wù)信用分析內(nèi)含數(shù)據(jù)集和論文.zip”這類壓縮包時(shí)很多人的第一反應(yīng)是解壓后直接跑一遍代碼但真正值得花時(shí)間的是數(shù)據(jù)設(shè)計(jì)、特征口徑和評(píng)估流程。這類項(xiàng)目通常把企業(yè)財(cái)報(bào)字段、違約標(biāo)簽、評(píng)分卡代碼和一篇方法論論文放在同一個(gè)zip里目的是讓人可以從原始數(shù)據(jù)復(fù)現(xiàn)完整的信用分析鏈路。下面按數(shù)據(jù)準(zhǔn)備、建模、驗(yàn)證、打包的順序把每一步的常見做法、參數(shù)選擇和踩坑點(diǎn)講清楚。適合要用Python做企業(yè)信用評(píng)分卡的風(fēng)控工程師以及需要復(fù)現(xiàn)財(cái)務(wù)違約預(yù)測實(shí)驗(yàn)的研究生。2. 數(shù)據(jù)準(zhǔn)備從壓縮包里的財(cái)務(wù)原始表構(gòu)造信用數(shù)據(jù)集在做任何建模之前先把zip內(nèi)的文件結(jié)構(gòu)看一遍。常見做法是先用zipfile列出所有文件名而不是直接解壓一整個(gè)壓縮包避免對不熟悉的文件盲目釋放到當(dāng)前目錄也避免重復(fù)讀寫大文件造成磁盤浪費(fèi)。import zipfile with zipfile.ZipFile(FinancialCreditAnalysis.zip, r) as z: for info in z.infolist(): print(info.filename, info.file_size, info.compress_size) with zipfile.ZipFile(FinancialCreditAnalysis.zip, r) as z: z.extractall(./project)infolist展示每個(gè)文件在壓縮包內(nèi)的完整路徑可以據(jù)此判斷是否存在多個(gè)數(shù)據(jù)版本、論文文本是否齊全。extractall將全部文件釋放到./project目錄后面的代碼都從這個(gè)固定目錄讀取避免腳本在根目錄運(yùn)行時(shí)報(bào)相對路徑錯(cuò)誤。2.1 數(shù)據(jù)集結(jié)構(gòu)與常見字段財(cái)務(wù)信用數(shù)據(jù)集一般由企業(yè)標(biāo)識(shí)、報(bào)表期間、三大報(bào)表科目和違約標(biāo)簽構(gòu)成。用pandas讀取主表以后先看行數(shù)和字段類型再確認(rèn)report_date的粒度是年還是季度防止后續(xù)特征聚合時(shí)重復(fù)計(jì)算。import pandas as pd df pd.read_csv(./project/dataset/financial_credit.csv, parse_dates[report_date]) print(df.shape) print(df.dtypes)parse_dates參數(shù)直接將report_date解析成datetime類型省去單獨(dú)調(diào)用pd.to_datetime做類型轉(zhuǎn)換的步驟。若源文件是Excel則改用read_excel并檢查sheet_name確認(rèn)哪一張表放的是樣本數(shù)據(jù)。字段類型業(yè)務(wù)含義company_idstr企業(yè)唯一標(biāo)識(shí)report_datedatetime報(bào)表截止日期revenuefloat營業(yè)收入total_assetsfloat總資產(chǎn)total_liabilitiesfloat總負(fù)債current_assetsfloat流動(dòng)資產(chǎn)current_liabilitiesfloat流動(dòng)負(fù)債net_profitfloat凈利潤default_labelint是否違約1表示違約industrystr行業(yè)分類company_id與report_date建議聯(lián)合視為唯一鍵。建模時(shí)如果直接用多期報(bào)表作為多條樣本需要先把同一id的多行聚合成一條否則模型會(huì)錯(cuò)誤地利用同一企業(yè)跨期的相似性。2.2 缺失值處理與數(shù)據(jù)口徑統(tǒng)一財(cái)務(wù)數(shù)據(jù)里最常見的是缺失值和異常值。缺失原因可能是非上市公司部分科目不披露也可能是合并報(bào)表口徑不同因此不能一概用全局均值填充。先計(jì)算每列的缺失率missing_rate df.isnull().mean().round(4) * 100 print(missing_rate[missing_rate 5].sort_values(ascendingFalse))如果某個(gè)字段缺失率超過30%建議在特征列表里直接剔除。對于缺失率在5%到30%之間的字段按行業(yè)分組填充比全局填充更合理df[current_liabilities] df.groupby(industry)[current_liabilities].transform( lambda x: x.fillna(x.median()) )groupby與transform組合可以在保持DataFrame形狀不變的情況下分別計(jì)算每個(gè)行業(yè)的填充值。lambda內(nèi)部的x.fillna(x.median())在每個(gè)行業(yè)分組內(nèi)執(zhí)行避免了跨行業(yè)用同一個(gè)數(shù)值填平差異。讀取CSV時(shí)如果導(dǎo)入的數(shù)值列是object類型需要先用astype(float)統(tǒng)一類型否則后續(xù)計(jì)算財(cái)務(wù)比率時(shí)會(huì)報(bào)錯(cuò)。2.3 特征工程構(gòu)造財(cái)務(wù)比率特征原始科目之間相關(guān)性較強(qiáng)直接進(jìn)邏輯回歸會(huì)出現(xiàn)多重共線性。更常見的做法是把原始科目轉(zhuǎn)換成財(cái)務(wù)比率既保留業(yè)務(wù)含義又讓系數(shù)更穩(wěn)定。下表是信用評(píng)分最常用的五個(gè)比率。特征名計(jì)算公式信用含義current_ratio流動(dòng)資產(chǎn)/流動(dòng)負(fù)債短期償債能力debt_to_asset總負(fù)債/總資產(chǎn)杠桿水平roa凈利潤/總資產(chǎn)盈利能力net_margin凈利潤/營業(yè)收入盈利質(zhì)量asset_turnover營業(yè)收入/總資產(chǎn)資產(chǎn)運(yùn)營效率計(jì)算時(shí)在分母上加一個(gè)極小值防止除零導(dǎo)致Inf特征進(jìn)模型eps 1e-6 df[current_ratio] df[current_assets] / (df[current_liabilities] eps) df[debt_to_asset] df[total_liabilities] / (df[total_assets] eps) df[roa] df[net_profit] / (df[total_assets] eps) df[net_margin] df[net_profit] / (df[revenue] eps) df[asset_turnover] df[revenue] / (df[total_assets] eps)eps取1e-6對真實(shí)比率精度幾乎沒有影響但能消除分母為0的警告。構(gòu)造完特征后用df.describe()觀察各列分位數(shù)如果99%分位數(shù)是均值的幾十倍可對字段做log1p或winsorize壓縮極端值影響。2.4 樣本劃分按時(shí)間而不是隨機(jī)拆分財(cái)務(wù)信用分析里很容易被忽略的是時(shí)間泄漏問題。如果同一企業(yè)的多期報(bào)表同時(shí)落在訓(xùn)練集和測試集模型會(huì)在測試時(shí)記住訓(xùn)練中見過的公司特征。建議先按report_date排序再按時(shí)間切分前70%做訓(xùn)練后30%做驗(yàn)證。df df.sort_values(report_date).reset_index(dropTrue) split_idx int(len(df) * 0.7) train_df df.iloc[:split_idx] test_df df.iloc[split_idx:]時(shí)間切分后X和y分別從train_df和test_df取出這樣能保證測試集中所有樣本的報(bào)表日期都晚于訓(xùn)練集更接近真實(shí)上線環(huán)境。3. 模型構(gòu)建用邏輯回歸訓(xùn)練信用評(píng)分卡邏輯回歸是財(cái)務(wù)信用分析里默認(rèn)的基線模型。原因有兩個(gè)一是輸出結(jié)果可以解釋成風(fēng)險(xiǎn)因子方向二是很容易轉(zhuǎn)換成整數(shù)評(píng)分卡。真實(shí)業(yè)務(wù)中監(jiān)管或?qū)徲?jì)往往要求模型能說明“為什么給這家企業(yè)這個(gè)分?jǐn)?shù)”樹模型很難給出同等粒度的解釋。3.1 特征篩選與共線性檢查在放模型前先計(jì)算特征間的相關(guān)系數(shù)剔除高度相關(guān)的列避免標(biāo)準(zhǔn)誤差被放大import numpy as np X train_df[[current_ratio, debt_to_asset, roa, net_margin, asset_turnover]].copy() y train_df[default_label].astype(int) corr X.corr().abs() upper_tri corr.where(np.triu(np.ones(corr.shape), k1).astype(bool)) drop_cols [col for col in upper_tri.columns if any(upper_tri[col] 0.8)] X X.drop(columnsdrop_cols) print(dropped:, drop_cols)np.triu只保留相關(guān)矩陣的上三角避免同一個(gè)相關(guān)系數(shù)被統(tǒng)計(jì)兩次。如果drop_cols不為空刪掉其中一個(gè)共線變量即可具體刪哪個(gè)取決于業(yè)務(wù)理解。3.2 數(shù)據(jù)集劃分與樣本均衡用train_test_split之前要先分離X和y。因?yàn)樯厦嬉呀?jīng)做過時(shí)間切分這里不再重復(fù)拆分只做訓(xùn)練內(nèi)的一層驗(yàn)證。如果樣本量不大可以用cross_val_score做交叉驗(yàn)證from sklearn.model_selection import cross_val_score from sklearn.linear_model import LogisticRegression lr LogisticRegression(max_iter1000, class_weightbalanced, random_state42) scores cross_val_score(lr, X, y, cv5, scoringroc_auc) print(CV AUC:, scores.mean().round(4))class_weightbalanced會(huì)自動(dòng)給違約樣本增加權(quán)重緩解財(cái)務(wù)數(shù)據(jù)里違約率過低的問題。cv5意味著把訓(xùn)練數(shù)據(jù)切成5份輪流做驗(yàn)證最終得到偏穩(wěn)健的AUC估計(jì)。3.3 用statsmodels訓(xùn)練Logit模型如果要輸出論文里常見的回歸摘要statsmodels比sklearn更直接。先給X加常數(shù)項(xiàng)再調(diào)用Logit擬合import statsmodels.api as sm X_const sm.add_constant(X) model sm.Logit(y, X_const).fit(disp0) print(model.summary())disp0關(guān)閉迭代日志。summary中的coef列是邏輯回歸系數(shù)P值大于0.05的變量可以考慮剔除常規(guī)做法是保留行業(yè)公認(rèn)的杠桿和盈利指標(biāo)不完全跟著顯著性走。3.4 將模型轉(zhuǎn)換為標(biāo)準(zhǔn)評(píng)分卡分?jǐn)?shù)評(píng)分卡本質(zhì)上是把預(yù)測概率映射到整數(shù)分?jǐn)?shù)。設(shè)基準(zhǔn)分base600每個(gè)對數(shù)幾率的間隔分?jǐn)?shù)factor20預(yù)測score可以簡化為pred_prob model.predict(X_const) log_odds np.log(pred_prob / (1 - pred_prob)) score 600 - 20 * log_oddsscore與風(fēng)險(xiǎn)方向的關(guān)系是違約概率越高log_odds越大最終分?jǐn)?shù)越低。如果希望總分落在300-850區(qū)間可以在整組數(shù)據(jù)上做min-max縮放score_norm 300 (550 - 300) * (score - score.min()) / (score.max() - score.min())線性縮放不會(huì)改變排序關(guān)系但要在測試集上使用訓(xùn)練集的min和max防止測試期分?jǐn)?shù)被動(dòng)態(tài)縮放影響。3.5 正則化參數(shù)與業(yè)務(wù)約束邏輯回歸在sklearn里默認(rèn)帶L2正則。C值越小正則強(qiáng)度越大高相關(guān)特征會(huì)更快被壓縮lr LogisticRegression(C0.1, max_iter1000, class_weightbalanced, random_state42)C0.1是財(cái)務(wù)模型里比較保守的起點(diǎn)。調(diào)優(yōu)時(shí)建議用網(wǎng)格搜索同時(shí)監(jiān)控指標(biāo)的穩(wěn)定性而不是只看AUC。業(yè)務(wù)上還常要求評(píng)分卡的分箱單調(diào)如果發(fā)現(xiàn)某個(gè)特征系數(shù)與業(yè)務(wù)直覺相反先回到分箱和特征構(gòu)造查原因不要直接刪變量。4. 結(jié)果驗(yàn)證與論文復(fù)現(xiàn)如何對齊論文里的評(píng)估指標(biāo)復(fù)現(xiàn)一份財(cái)務(wù)信用分析論文關(guān)鍵不是把數(shù)字跑得一模一樣而是對齊口徑。常被用到的指標(biāo)包括AUC、KS、Brier分?jǐn)?shù)和評(píng)分卡誤分類率。論文如果寫了用5折交叉驗(yàn)證你就要固定隨機(jī)種子重復(fù)5次取均值論文如果用時(shí)間外驗(yàn)證你就要把樣本的最后一段時(shí)間單獨(dú)留在測試集。4.1 從論文摘要里提取指標(biāo)口徑先看論文實(shí)驗(yàn)部分使用的指標(biāo)名稱和值比如“AUC為0.789KS為0.43”。接著要看它的測試集比例和是否做了樣本重采樣。如果論文用了SMOTE而你用原始樣本做交叉驗(yàn)證數(shù)值自然不會(huì)一致。4.2 用Python計(jì)算KS、AUC與Brier分?jǐn)?shù)在統(tǒng)一的驗(yàn)證集上計(jì)算指標(biāo)方便和論文基線做對比from sklearn.metrics import roc_auc_score, brier_score_loss y_pred_prob model.predict(sm.add_constant(test_X)) auc roc_auc_score(test_y, y_pred_prob) brier brier_score_loss(test_y, y_pred_prob) def ks_statistic(y_true, y_prob): data pd.DataFrame({y: y_true, prob: y_prob}).sort_values(prob, ascendingFalse) data[cum_bad] (data[y] 1).cumsum() / (data[y] 1).sum() data[cum_good] (data[y] 0).cumsum() / (data[y] 0).sum() return (data[cum_bad] - data[cum_good]).abs().max() ks ks_statistic(test_y, y_pred_prob) print(fAUC{auc:.4f}, KS{ks:.4f}, Brier{brier:.4f})KS統(tǒng)計(jì)量的含義是按預(yù)測違約概率從高到低排序后違約群體累積占比與正常群體累積占比差值的最大值。通常KS超過0.4說明模型有較強(qiáng)區(qū)分能力但財(cái)務(wù)違約率很低時(shí)KS會(huì)受影響要結(jié)合AUC一起看。4.3 畫出ROC曲線并保存驗(yàn)證結(jié)果可視化對論文和匯報(bào)都有用。為了不把圖寫進(jìn)論文的話需要保存成png放到輸出目錄。import matplotlib.pyplot as plt from sklearn.metrics import roc_curve fpr, tpr, _ roc_curve(test_y, y_pred_prob) plt.plot(fpr, tpr, labelfROC (AUC{auc:.3f})) plt.plot([0, 1], [0, 1], linestyle--) plt.xlabel(FPR) plt.ylabel(TPR) plt.legend() plt.savefig(output/roc_curves.png, dpi300, bbox_inchestight)4.4 與論文的結(jié)果對比判斷差異來源如果AUC低論文超過0.05先檢查三件事特征是否經(jīng)過相同的分箱方式、違約標(biāo)簽定義是否一致、樣本區(qū)間是否重疊。論文里的樣本量、樣本期和行業(yè)分布都可能與你手頭的數(shù)據(jù)不同。再檢查一下有沒有用在全量數(shù)據(jù)上標(biāo)準(zhǔn)化后再切分這種操作會(huì)造成數(shù)據(jù)泄漏讓驗(yàn)證指標(biāo)偏高。復(fù)現(xiàn)的目的不是讓結(jié)果完全一致而是確認(rèn)方法鏈正確。5. 交付時(shí)要把數(shù)據(jù)集、代碼和論文打包成規(guī)范的zip分析做完最后一步是交付。很多人直接右鍵壓縮其實(shí)不規(guī)范的zip會(huì)在別人機(jī)器上產(chǎn)生路徑問題。這里給出一個(gè)常見且穩(wěn)妥的打包流程。5.1 設(shè)計(jì)可被再次讀取的目錄結(jié)構(gòu)壓縮包內(nèi)部建議采用如下層次FinancialCreditAnalysis/ ├── dataset/ │ ├── raw/ 原始數(shù)據(jù)保持只讀 │ └── processed/ 清洗后數(shù)據(jù) ├── paper/ 論文與實(shí)驗(yàn)說明 ├── src/ Python腳本 └── output/ 結(jié)果表與圖表這樣的結(jié)構(gòu)能讓復(fù)用者一眼知道數(shù)據(jù)是從哪個(gè)版本加工出來的也避免把__pycache__、臨時(shí)文件打進(jìn)壓縮包。5.2 用zipfile控制壓縮級(jí)別和字符集用zipfile逐個(gè)寫入文件可以明確指定arcname讓外部文件名與包內(nèi)路徑保持一致import zipfile from pathlib import Path src_root Path(FinancialCreditAnalysis) packed FinancialCreditAnalysis_final.zip with zipfile.ZipFile(packed, w, zipfile.ZIP_DEFLATED, compresslevel9) as z: for p in src_root.rglob(*): if p.is_file(): z.write(p, arcnamep.as_posix())ZIP_DEFLATED是標(biāo)準(zhǔn)deflate算法compresslevel9表示最高壓縮等級(jí)比較適合財(cái)務(wù)表這類以文本為主的CSV文件。注意不要用compresslevel0那是不壓縮的store模式。5.3 給壓縮包加上密碼保護(hù)如果數(shù)據(jù)集里包含企業(yè)標(biāo)識(shí)或未公開財(cái)報(bào)交付前最好加密。Python標(biāo)準(zhǔn)庫的zipfile不支持寫入密碼常見做法是用pyminizip擴(kuò)展import pyminizip source_files [ FinancialCreditAnalysis/dataset/raw/raw_financial.csv, FinancialCreditAnalysis/paper/credit_analysis.pdf, ] pyminizip.compress( source_files, FinancialCreditAnalysis_protected.zip, your-strong-password, compress_level9, )pyminizip的compress接口直接接收文件列表、輸出路徑和密碼。加密碼的目的是防止數(shù)據(jù)集在傳輸鏈路中被第三方直接讀取密碼本身要通過其他渠道發(fā)送不要和壓縮包放在同一個(gè)zip里。最后用zipfile.ZipFile(..., r).infolist()檢查打包結(jié)果確認(rèn)路徑和文件數(shù)符合預(yù)期。本文還有配套的精品資源點(diǎn)擊獲取