免費問答

外調(diào)法（out-of-sample estimation）是一種評估模型預(yù)測準(zhǔn)確率的方法，通過將學(xué)習(xí)算法拿去預(yù)測未曾遇到過的數(shù)據(jù)，來估算建模誤差。它允許預(yù)測模型預(yù)測準(zhǔn)確度的評估，無論是基于訓(xùn)練數(shù)據(jù)還是利用未曾遇到過的數(shù)據(jù)。外調(diào)法更能反映機器學(xué)習(xí)算法的真實表現(xiàn)，從而給出一個更精確的估計。 外調(diào)法的本質(zhì)是使用測試數(shù)據(jù)集來評估訓(xùn)練數(shù)據(jù)集訓(xùn)練出的模型的表現(xiàn)。常用的方法有交叉驗證，自驗證，留出驗證，測試抽樣等。交叉驗證將數(shù)據(jù)集分成k個子集，并分別取其中一個集來測試，其余k-1個集來訓(xùn)練，然后重復(fù)這樣的操作，把k個子集都用一次作為測試集，最后可以得到k個測試結(jié)果，然后求均值就是最后的結(jié)果，通常k取5或者10較為合適。留出法則是將訓(xùn)練數(shù)據(jù)集的一部分作為測試數(shù)據(jù)集。自驗證（self-validation）是一種以簡化交叉驗證的方式進行外調(diào)法的方法，它是在每一輪迭代中為每一個模型指定一個獨立的測試集，然后在后面的輪迭代中不再使用測試集，這樣在每一輪迭代中只有一個測試模型，而不像交叉驗證那樣必須選擇多個測試模型。 拓展知識： 外調(diào)法不僅可以用來評估模型預(yù)測準(zhǔn)確性，還可以用來比較不同模型的優(yōu)劣，例如訓(xùn)練多個模型，像邏輯回歸、支持向量機、決策樹、神經(jīng)網(wǎng)絡(luò)等，并使用外調(diào)法來評估每個模型的表現(xiàn)，最后取最好的模型作為最終的預(yù)測模型。