在最簡單的情況下，擬合是指對于一組已知的離散點，給定一個帶未知系數(shù)的函 數(shù)，通過調整該函數(shù)中系數(shù)的取值，使得已知的離散點與函數(shù)之間的差別最小化的過 程。量化交易策略研發(fā)中的最優(yōu)化部分可以在一定程度上看作是一個擬合的過程，通 過優(yōu)化量化交易策略的模型設置和參數(shù)設置來讓策略盡量適應交易資產的內在特征， 從而獲得更高的收益和更低的風險。在這個最優(yōu)化的過程當中，可能會產生出一些偏離實際目標的結果，依照一般量化交易研究的習慣，稱之為過度擬合和欠擬合。 實際上，在大的數(shù)據(jù)科學框架下，過度擬合和欠擬合具有更豐富的表現(xiàn)形式，下面的內容僅針對量化交易策略研究可能出現(xiàn)的情況進行說明。

        這里用一個簡單的例子來實際說明一下過度擬合和欠擬合。假設一個數(shù)據(jù)集源自 于一個帶有誤差項的二次方程，如下：

        其中 ε 是一個在[-50,50]之間均勻分布的誤差項。數(shù)據(jù)集一共包括二十個點，其中 x 分 別選取從 1 到 20 的 20 個整數(shù)。如圖 3.2 所示，星號為二十個觀測數(shù)據(jù)點，曲線為不 帶誤差項的原始二次方程。

        在實際的工作中，研究人員并不知道數(shù)據(jù)來源的具體邏輯，因此可能會設置出各 種各樣的方法來擬合數(shù)據(jù)集。當研究者采用三次方程來擬合這 20 個數(shù)據(jù)點時，得到 的方程曲線如圖 3.3 所示。曲線與數(shù)據(jù)點的差距有一定縮小，但是曲線形狀與圖 3.2 中原始方程的曲線存在走勢上的差別，在圖形最左側有一個原始圖形沒有的下降趨勢， 右側的下降則比原圖更甚。使用復雜度比二次方程更高的三次方程來研究該數(shù)據(jù)集， 造成的就是過度擬合的問題。

        當研究人員使用一次方程來擬合這 20 個點的數(shù)據(jù)集時，得到的方程曲線如圖 3.4 所示。很明顯，用復雜度較低的線性方程擬合出的結果損失掉了原始曲線中先上升后 下降的走勢特性，而呈現(xiàn)出一個線性下降的趨勢，這就是由欠擬合造成的。

        上面這個例子簡單化的展現(xiàn)了過度擬合和欠擬合在數(shù)據(jù)研究中的形式。對于量化 交易策略而言，過度擬合指的是由于選取的策略或模型過于復雜，不僅適應了交易資 產本身的內在屬性，而且在優(yōu)化過程中還刻畫了噪音在樣本數(shù)據(jù)中表現(xiàn)出的一些特性，

        過度的擬合了樣本數(shù)據(jù)，從而造成偏差，影響到策略的盈利能力。在一些專業(yè)書籍當 中，過度擬合問題有時候也被稱之為曲線擬合。欠擬合則恰好相反，往往是由于選取 的策略或者模型過于簡單，適應交易資產內在特征的能力不強，擬合水平較低，因此 盈利能力也就較弱。

        就過度擬合和欠擬合的具體表現(xiàn)而言，兩者有相似之處也由于不同之處。正如上 面所述，兩種問題都會導致策略的實際盈利能力下降，這是它們的相同之處。但是欠 擬合的量化交易策略由于對數(shù)據(jù)的描述和挖掘能力不足，往往在歷史數(shù)據(jù)優(yōu)化下和實 際交易中都表現(xiàn)不好，因此在回溯測試時就可以比較直觀的分辨出來。過度擬合的量 化交易策略則不同，由于在擬合樣本數(shù)據(jù)時過度的優(yōu)化，進而擬合了樣本中噪音的特 性，因此常常是歷史數(shù)據(jù)優(yōu)化下的結果很好，只有在實際交易中才會顯著變差，也就 是俗稱的泛化能力低下。在實際的量化交易策略研發(fā)過程當中，這樣的性質增加了過 度擬合判別的難度。

        在大部分情況下，一個量化交易策略往往既具有過度擬合的問題，也具有欠擬合 的問題，原因在于金融資產的內在屬性并不像物理學等學科所研究的對象一樣，存在 一個較為明確的運行邏輯，同時也比語音識別等數(shù)據(jù)科學問題的情況更加復雜和模糊， 人們現(xiàn)在對于資產價格運行模式等問題的了解還處在非常皮毛的狀態(tài)。在實際工作中， 研究選取的策略或模型可能只有一部分設置適應了交易資產的內在屬性，相符的內在 屬性也只占交易資產整體屬性的一部分，因此策略模型是欠擬合的。好在量化交易策 略研發(fā)并不是一個需要絕對精確的學科，即使策略模型與數(shù)據(jù)內在特性相符的程度不大，只要存在這種適應性，就有可能為研發(fā)者帶來可觀的利潤。于此同時，研究得到 的策略模型的另外一部分設定可能就與交易資產的內在屬性完全沒有相關性，經(jīng)過最 優(yōu)化等工作之后只是擬合了資產交易中的噪聲，從而造成過度擬合的問題。。{原文來自 www.kzuj.com.cn }

        實際工作中研究人員既需要減少量化交易策略過度擬合的程度，也要同時減少策 略欠擬合的程度。解決欠擬合的途徑較為清晰，就是不斷的嘗試各種各樣的策略，基 于更多、更好的策略模型來挖掘交易資產的內在特征，獲得相應的盈利能力。當然， 嘗試新策略是量化交易策略研究工作的基本要求，因此欠擬合這一問題也較少的被研 究人員所提及，大部分文獻資料都更注重于過度擬合的問題，也存在許多相關論述。 從本質上說，簡化策略當然是一個行之有效的較少過度擬合的方法，馮諾伊曼曾通過 費曼和戴森之口說出了“我能用四個參數(shù)擬合一頭大象，用五個參數(shù)讓它擺動鼻子” 的經(jīng)典名言，參數(shù)過多、模型過于復雜可能會導致過度擬合這一看法已經(jīng)成為了一個 公論。  

        但是與此同時，簡化策略又與研究者要解決欠擬合、嘗試找到更合適的策略的目 標背道而馳。圖 3.5 給出了一個策略在簡單和復雜之間變動時，欠擬合與過擬合情況 的粗略示例。由于交易資產的內在運行邏輯尚不清楚，因此任何一個交易策略都只能 挖掘并利用數(shù)據(jù)內在特征的一部分，也就是兩個圓重合的淺灰色區(qū)域，而剩下的白色 區(qū)域則是交易策略沒有實際效用但是客觀存在的部分。當策略復雜度增加時，策略就 有可能更多的利用數(shù)據(jù)的特征，表現(xiàn)為淺灰色的重合區(qū)域增加，欠擬合問題得到緩解。 但是與此同時，策略無效的白色區(qū)域也可能相應的增加，這一部分經(jīng)過最優(yōu)化就是過 度擬合的成因。因此在量化交易策略的研發(fā)工作中，策略的復雜程度、參數(shù)數(shù)量的設置等問題常常需要研究人員根據(jù)實際情況、過往經(jīng)驗來進行主觀判斷，沒有一個固定的最優(yōu)標準。好在針對回溯測試過程而言，存在著一些可以用來判別過度擬合問題的 技巧，因此研究者可以在適當增加量化交易策略復雜程度的基礎上，通過這些技巧來盡量規(guī)避策略的過度擬合。{原文來自 www.kzuj.com.cn }

        除此之外，增加回溯測試時使用的樣本量也是一個可能會產生作用的做法。如果量化交易策略所針對的交易資產內在特性沒有隨著時間產生變化，那么增加樣本量可 以擴展回溯測試的覆蓋范圍，從而在更大的區(qū)間內研究策略的穩(wěn)定程度，而樣本量的 增加也可以讓研究人員更自由的使用一些判斷過度擬合的研究技巧，這樣就能夠在保 證不造成欠擬合問題的條件下，更好的規(guī)避過度擬合的產生。在實踐中增加樣本量進 行研究的做法也確實能夠取得一定的效果，因此在可獲得的數(shù)據(jù)量充足的前 提下，還是應該盡可能的讓回溯測試覆蓋更廣的范圍。不過究其根源，內在特性不隨 時間變化的假設本身是值得懷疑的，前面已經(jīng)說過，人們現(xiàn)在對于資產價格運行等內 在特性的了解還處于非常皮毛的狀態(tài)，即使研究者們發(fā)現(xiàn)了某些規(guī)律并基于這些規(guī)律 形成了可以盈利的策略，也不能保證這些規(guī)律會保持下去。在這種情況下，不經(jīng)判斷 而盲目的增加數(shù)據(jù)量，就可能對量化交易策略的盈利能力造成誤判。而且在中國市場 這種運作時間較短、環(huán)境變化較快的市場上，該問題就更加嚴重。完全消除這個矛盾 需要研究人員對本質問題充分理解和把握，這并不是僅靠一個合理的量化交易策略研 發(fā)框架就可以解決的問題。