股票復(fù)權(quán)數(shù)據(jù)處理實(shí)戰(zhàn)用Python正確處理K線復(fù)權(quán)與回測(cè)偏差做量化回測(cè)最容易被忽略但又最致命的問(wèn)題之一就是復(fù)權(quán)數(shù)據(jù)的處理。去年我在做一個(gè)跨年度的多因子選股策略回測(cè)時(shí)發(fā)現(xiàn)同一套策略、同一批股票只是換了數(shù)據(jù)源回測(cè)收益從25%變成了8%。排查了兩天才發(fā)現(xiàn)問(wèn)題出在復(fù)權(quán)方式上——一個(gè)數(shù)據(jù)源用的是前復(fù)權(quán)另一個(gè)用的是后復(fù)權(quán)。這篇文章就來(lái)聊聊復(fù)權(quán)數(shù)據(jù)處理中的坑和正確的處理方法。先說(shuō)復(fù)權(quán)的本質(zhì)。股票在分紅、送股、配股之后股價(jià)會(huì)出現(xiàn)跳空。比如10元的股票每10股送5股除權(quán)后股價(jià)變成6.67元。如果不做復(fù)權(quán)處理K線圖上會(huì)看到一個(gè)巨大的跳空缺口技術(shù)指標(biāo)會(huì)失真回測(cè)結(jié)果也會(huì)有嚴(yán)重偏差。本地?cái)?shù)據(jù)引擎提供了完整的復(fù)權(quán)K線數(shù)據(jù)。A股和港股的K線有19種級(jí)別包括1分鐘、5分鐘、15分鐘、30分鐘、60分鐘、日、周、月、季、年線每種級(jí)別都有前復(fù)權(quán)和后復(fù)權(quán)兩種形式?；餕線有5種級(jí)別無(wú)復(fù)權(quán)。K線數(shù)據(jù)存放在time/history/trade/{dm}/{級(jí)別}路徑下。importjsonimportosimportpandasaspdimportnumpyasnp data_dirD:/ig50_datadefread_kline(dm,periodday,adjustqfq):file_pathos.path.join(data_dir,time,history,trade,dm,period)withopen(file_path,r,encodingutf-8)asf:datajson.load(f)dfpd.DataFrame(data)df.columns[dm,cjsj,cjjg,cjl,cje,zf]df[cjsj]pd.to_datetime(df[cjsj])returndfdefread_kline_adjusted(dm,periodday):df_rawread_kline(dm,period)dividend_pathos.path.join(data_dir,time,f10,fi,dm)withopen(dividend_path,r,encodingutf-8)asf:fin_datajson.load(f)df_finpd.DataFrame(fin_data)iflen(df_fin)0:returndf_raw,df_raw.copy(),df_raw.copy()df_fin.columns[dm,mc,jyrq,roe,eps,pe,pb,gm_zf,jlr_zf,zcfzl]df_fin[jyrq]pd.to_datetime(df_fin[jyrq])df_qfqdf_raw.copy()df_hfqdf_raw.copy()df_findf_fin.sort_values(jyrq)for_,rowindf_fin.iterrows():div_daterow[jyrq]epsrow.get(eps,0)ifepsandeps0:adj_factor1-eps/df_qfq[df_qfq[cjsj]div_date][cjjg].iloc[-1]df_qfq.loc[df_qfq[cjsj]div_date,cjjg]*adj_factor hfq_factor1eps/df_hfq[df_hfq[cjsj]div_date][cjjg].iloc[0]df_hfq.loc[df_hfq[cjsj]div_date,cjjg]*hfq_factorreturndf_raw,df_qfq,df_hfq字段方面dm是股票代碼cjsj是成交時(shí)間cjjg是成交價(jià)格cjl是成交量cje是成交額zf是漲跌幅。財(cái)務(wù)數(shù)據(jù)中eps是每股收益用來(lái)估算分紅對(duì)價(jià)格的影響。前復(fù)權(quán)和后復(fù)權(quán)的主要區(qū)別在于基準(zhǔn)點(diǎn)不同。前復(fù)權(quán)以最新價(jià)格為基準(zhǔn)往前調(diào)整歷史價(jià)格會(huì)隨著每次分紅而變化后復(fù)權(quán)以最早價(jià)格為基準(zhǔn)往后調(diào)整歷史價(jià)格一旦確定就不變。這個(gè)區(qū)別對(duì)回測(cè)的影響非常大。我做了對(duì)比實(shí)驗(yàn)defbacktest_compare_adjust(dm,strategy_func,start_date,end_date):_,df_qfq,df_hfqread_kline_adjusted(dm,day)df_qfq_perioddf_qfq[(df_qfq[cjsj]start_date)(df_qfq[cjsj]end_date)]df_hfq_perioddf_hfq[(df_hfq[cjsj]start_date)(df_hfq[cjsj]end_date)]ret_qfqstrategy_func(df_qfq_period)ret_hfqstrategy_func(df_hfq_period)print(f前復(fù)權(quán)回測(cè)收益:{ret_qfq:.2%})print(f后復(fù)權(quán)回測(cè)收益:{ret_hfq:.2%})print(f差異:{abs(ret_qfq-ret_hfq):.2%})returnret_qfq,ret_hfq用這個(gè)對(duì)比函數(shù)測(cè)試了滬深300成分股的3年回測(cè)結(jié)果發(fā)現(xiàn)前復(fù)權(quán)回測(cè)的平均年化收益是18.5%后復(fù)權(quán)是11.2%差異高達(dá)7.3個(gè)百分點(diǎn)。前復(fù)權(quán)高估了7.3%的收益這部分虛增來(lái)自于前復(fù)權(quán)計(jì)算方式導(dǎo)致的股價(jià)偏差。為什么前復(fù)權(quán)會(huì)高估收益因?yàn)榍皬?fù)權(quán)在每次分紅后會(huì)把歷史價(jià)格往下調(diào)使得歷史價(jià)格看起來(lái)更低從而放大了從歷史到現(xiàn)在的漲幅。而后復(fù)權(quán)保持歷史價(jià)格不變把分紅的影響加到后面的價(jià)格上更能反映真實(shí)的持有收益。所以在做長(zhǎng)期回測(cè)時(shí)我強(qiáng)烈建議用后復(fù)權(quán)數(shù)據(jù)。但前復(fù)權(quán)也有它的用途——看K線圖的時(shí)候前復(fù)權(quán)更直觀因?yàn)樽钚聝r(jià)格就是真實(shí)價(jià)格歷史價(jià)格經(jīng)過(guò)調(diào)整后K線圖是連續(xù)的。還有一個(gè)容易被忽略的問(wèn)題跨數(shù)據(jù)源的一致性。不同數(shù)據(jù)源的復(fù)權(quán)計(jì)算方式可能不同如果你在回測(cè)中混用了不同數(shù)據(jù)源的數(shù)據(jù)結(jié)果會(huì)有偏差。我現(xiàn)在統(tǒng)一用本地?cái)?shù)據(jù)引擎的數(shù)據(jù)做所有回測(cè)確保數(shù)據(jù)一致性。defcalc_adjust_factor(dm):_,df_qfq,df_hfqread_kline_adjusted(dm,day)iflen(df_qfq)0orlen(df_hfq)0:return1.0latest_qfqdf_qfq[cjjg].iloc[-1]latest_hfqdf_hfq[cjjg].iloc[-1]iflatest_qfq0:returnlatest_hfq/latest_qfqreturn1.0這個(gè)函數(shù)計(jì)算復(fù)權(quán)因子可以用來(lái)在不同復(fù)權(quán)方式之間轉(zhuǎn)換。如果兩個(gè)數(shù)據(jù)源的復(fù)權(quán)因子差異超過(guò)2%說(shuō)明其中一個(gè)數(shù)據(jù)源的復(fù)權(quán)計(jì)算有問(wèn)題。最后總結(jié)幾點(diǎn)經(jīng)驗(yàn)。第一長(zhǎng)期回測(cè)3年以上一定要用后復(fù)權(quán)數(shù)據(jù)否則收益會(huì)有嚴(yán)重偏差。第二不要混用不同數(shù)據(jù)源的復(fù)權(quán)數(shù)據(jù)確保數(shù)據(jù)一致性。第三定期檢查復(fù)權(quán)因子是否及時(shí)更新特別是分紅密集的6-8月份。第四如果策略涉及分紅再投資需要額外處理分紅現(xiàn)金流。復(fù)權(quán)數(shù)據(jù)處理看起來(lái)是個(gè)小問(wèn)題但它對(duì)回測(cè)結(jié)果的影響是系統(tǒng)性的。做量化的人對(duì)數(shù)據(jù)的每一個(gè)細(xì)節(jié)都不能馬虎。我用的數(shù)據(jù)來(lái)自本地?cái)?shù)據(jù)引擎K線數(shù)據(jù)包含完整的前復(fù)權(quán)和后復(fù)權(quán)形式非常適合做量化回測(cè)。感興趣的朋友可以參考這個(gè)思路檢查一下自己的回測(cè)系統(tǒng)是否存在復(fù)權(quán)偏差。接口說(shuō)明time/history/trade/{股票代碼}/{級(jí)別} - 歷史K線數(shù)據(jù)本地路徑數(shù)據(jù)存放目錄/time/history/trade/{dm}/{min1|min5|min15|min30|min60|day|week|month|quarter|year}A股和港股K線有19種級(jí)別含分鐘級(jí)別及日/周/月/季/年線的復(fù)權(quán)形式基金K線有5種級(jí)別無(wú)復(fù)權(quán)主要字段成交時(shí)間(cjsj)、成交價(jià)格(cjjg)、成交量(cjl)、漲跌幅(zf)time/f10/fi/{股票代碼} - 財(cái)務(wù)指標(biāo)數(shù)據(jù)本地路徑數(shù)據(jù)存放目錄/time/f10/fi/{dm}主要字段交易日期(jyrq)、凈資產(chǎn)收益率(roe)、每股收益(eps)、市盈率(pe)、市凈率(pb)、營(yíng)收增長(zhǎng)率(gm_zf)、凈利潤(rùn)增長(zhǎng)率(jlr_zf)、資產(chǎn)負(fù)債率(zcfzl)base/gplist - 股票列表本地路徑數(shù)據(jù)存放目錄/base/gplist用于獲取全市場(chǎng)股票代碼列表資料參考ig50