一文簡述如何使用嵌套交叉驗(yàn)證方法處理時序數(shù)據(jù)

本文討論了對時序數(shù)據(jù)使用傳統(tǒng)交叉驗(yàn)證的一些缺陷。具體來說，我們解決了以下問題：
　　在不造成數(shù)據(jù)泄露的情況下，對時序數(shù)據(jù)進(jìn)行分割;
　　在獨(dú)立測試集上使用嵌套交叉驗(yàn)證得到誤差的無偏估計(jì);
　　對包含多個時序的數(shù)據(jù)集進(jìn)行交叉驗(yàn)證。
　　本文主要針對缺乏如何對包含多個時間序列的數(shù)據(jù)使用交叉驗(yàn)證的在線信息。
　　本文有助于任何擁有時間序列數(shù)據(jù)，尤其是多個獨(dú)立的時間序列數(shù)據(jù)的人。這些方法是在醫(yī)療研究中被設(shè)計(jì)用于處理來自多個參與人員的醫(yī)療時序數(shù)據(jù)的。
　　一、交叉驗(yàn)證
　　交叉驗(yàn)證(CV)是一項(xiàng)很流行的技術(shù)，用于調(diào)節(jié)超參數(shù)，是一種具備魯棒性的模型性能評價(jià)技術(shù)。兩種最常見的交叉驗(yàn)證方式分別是 k 折交叉驗(yàn)證和 hold-out 交叉驗(yàn)證。
　　由于文獻(xiàn)中術(shù)語的不同，本文中我們將明確定義交叉驗(yàn)證步驟。首先，將數(shù)據(jù)集分割為兩個子集：訓(xùn)練集和測試集。如果有需要被調(diào)整的參數(shù)，我們將訓(xùn)練集分為訓(xùn)練子集和驗(yàn)證集。模型在訓(xùn)練子集上進(jìn)行訓(xùn)練，在驗(yàn)證集上將誤差最小化的參數(shù)將最終被選擇。最后，模型使用所選的參數(shù)在整個訓(xùn)練集上進(jìn)行訓(xùn)練，并且記錄測試集上的誤差。

　　數(shù)據(jù)被分為訓(xùn)練集和測試集。然后訓(xùn)練集進(jìn)一步進(jìn)行分割：一部分用來調(diào)整參數(shù)(訓(xùn)練子集)，另一部分用來驗(yàn)證模型(驗(yàn)證集)。
　　為什么時序數(shù)據(jù)的交叉驗(yàn)證會有所不同?
　　在處理時序數(shù)據(jù)時，不應(yīng)該使用傳統(tǒng)的交叉驗(yàn)證方法(如 k 折交叉驗(yàn)證)，原因有2：
　　1. 時序依賴
　　為了避免數(shù)據(jù)泄露，要特別注意時間序列數(shù)據(jù)的分割。為了準(zhǔn)確地模擬「我們現(xiàn)在所處、預(yù)測未來的真實(shí)預(yù)測環(huán)境」(Tashman 2000)，預(yù)測者必須保留用于擬合模型的事件之后發(fā)生的事件的數(shù)據(jù)。因此，對于時間序列數(shù)據(jù)而言，我們沒有使用 k 折交叉驗(yàn)證，而是使用 hold-out 交叉驗(yàn)證，其中一個數(shù)據(jù)子集(按照時間順序分割)被保留下來用于驗(yàn)證模型性能。例如，圖 1 中的測試集數(shù)據(jù)在時間順序上是位于訓(xùn)練數(shù)據(jù)之后的。類似地，驗(yàn)證集也在訓(xùn)練集之后。
　　2. 任意選擇測試集
　　你可能注意到了，圖 1 中測試集的選擇是相當(dāng)隨意的，這種選擇也意味著我們的測試集誤差是在獨(dú)立測試集上不太好的誤差估計(jì)。為了解決這個問題，我們使用了一種叫做嵌套交叉驗(yàn)證(Nested Cross-Validation)的方法。嵌套交叉驗(yàn)證包含一個用于誤差估計(jì)的外循環(huán)，以及一個用于調(diào)參的內(nèi)循環(huán)(如圖 2 所示)。內(nèi)循環(huán)所起的作用和之前談到的一樣：訓(xùn)練集被分割成一個訓(xùn)練子集和一個驗(yàn)證集，模型在訓(xùn)練子集上訓(xùn)練，然后選擇在驗(yàn)證集上能夠使誤差最小化的參數(shù)。但是，現(xiàn)在我們增加了一個外循環(huán)，它將數(shù)據(jù)集分割成多個不同的訓(xùn)練集和測試集，為了計(jì)算模型誤差的魯棒估計(jì)，對每一次分割的誤差求平均值。這樣做是有優(yōu)勢的：
　　嵌套交叉驗(yàn)證過程可以提供一個幾近無偏的真實(shí)誤差估計(jì)。(Varma and Simon 2006)

　　二、用于時間序列的嵌套交叉驗(yàn)證
　　我們推薦兩種嵌套交叉驗(yàn)證的方法，來處理僅具有一個時間序列的數(shù)據(jù)。我們也會處理來自一個病人/參與者的多天醫(yī)療數(shù)據(jù)：
　　預(yù)測后一半(Predict Second Half)
　　日前向鏈(Day Forward-Chaining)
　　1. 預(yù)測后一半
　　第一種方法「預(yù)測后一半」，這是嵌套交叉驗(yàn)證的「基本情況」，只有一次訓(xùn)練/測試分割。它的優(yōu)勢是這種方法易于實(shí)現(xiàn);然而，它仍然面臨著任意選擇測試集的局限性。前一半數(shù)據(jù)(按照時間分割的)作為訓(xùn)練集，后一半數(shù)據(jù)成為測試集。驗(yàn)證集的大小可以根據(jù)給定問題的不同而變化(例如圖 3 中的例子用一天的數(shù)據(jù)作為驗(yàn)證集)，但是保證驗(yàn)證集的時間順序在訓(xùn)練子集后面是非常重要的。

　　2. 日前向鏈(Day Forward-Chaining)
　　預(yù)測后一半嵌套交叉驗(yàn)證方法的一個缺陷是 hold-out 測試集的任意選擇會導(dǎo)致在獨(dú)立測試集上預(yù)測誤差的有偏估計(jì)。為了生成對模型預(yù)測誤差的更好估計(jì)，一個常用的方法就是進(jìn)行多次訓(xùn)練/測試分割，然后計(jì)算這些分割上的誤差平均值。我們使用日前向鏈技術(shù)是一種基于前向鏈(Forward-Chaining)的方法(在文獻(xiàn)中也被稱為 rolling-origin evaluation(Tashman，2000)和 rolling-origin-recalibration evaluation(Bergmeir & Benitez，2012))。利用這種方法，我們將每天的數(shù)據(jù)作為測試集，并將以前的所有數(shù)據(jù)分配到訓(xùn)練集中。例如，如果數(shù)據(jù)集有五天，那么我們將生成三個不同的訓(xùn)練和測試分割，如圖 4 所示。請注意，在本示例中，我們有三次拆分，而不是五次拆分，因?yàn)槲覀冃枰_保至少有一天的訓(xùn)練和驗(yàn)證數(shù)據(jù)可用。該方法產(chǎn)生許多不同的訓(xùn)練/測試分割，并且對每個分割上的誤差求平均，以計(jì)算模型誤差的魯棒估計(jì)。

　　注意，在這個例子中我們使用「日」前向鏈，但是也可以在每個數(shù)據(jù)點(diǎn)上進(jìn)行迭代，而不是按天迭代(但這明顯意味著更多的拆分)。
　　三、多時序嵌套交叉驗(yàn)證
　　現(xiàn)在有兩種分割單個時間序列的方法，接下來我們將討論如何處理具有多個不同時間序列的數(shù)據(jù)集。同樣，我們使用兩種方法：
　　1. 常規(guī)(regular)
　　「常規(guī)」嵌套交叉驗(yàn)證(regular nested cross-validation)的訓(xùn)練集/驗(yàn)證集/測試集分割基本思路和之前的描述是一樣的。唯一的變化是現(xiàn)在的分割包含了來自數(shù)據(jù)集中不同參與者的數(shù)據(jù)。如果有兩個參與者 A 和 B，那么訓(xùn)練集將包含來自參與者 A 的前半天的數(shù)據(jù)和來自參與者 B 的前半天的數(shù)據(jù)。同樣，測試集將包含每個參與者的后半天數(shù)據(jù)。
　　2. 群體知情(Population-Informed)
　　對于「群體知情嵌套交叉驗(yàn)證」方法而言，我們利用了不同參與者數(shù)據(jù)之間的獨(dú)立性。這使得我們打破嚴(yán)格的時間順序，至少在個人數(shù)據(jù)之間(在個人數(shù)據(jù)內(nèi)打破嚴(yán)格時序仍然是必要的)。由于這種獨(dú)立性，我們可以稍微修改常規(guī)嵌套交叉驗(yàn)證算法?，F(xiàn)在，測試集和驗(yàn)證集僅包含來自一個參與者(例如參與者 A)的數(shù)據(jù)，并且數(shù)據(jù)集中所有其他參與者的所有數(shù)據(jù)都被允許存在于訓(xùn)練集中。圖 5 描述了這種方法是如何適用于群體知情的日前向鏈嵌套交叉驗(yàn)證的。該圖顯示，參與者 A 第 18 天的數(shù)據(jù)是測試集(紅色)，之前三天是驗(yàn)證集(黃色)，訓(xùn)練集(綠色)包含參與者 A 的所有先前數(shù)據(jù)以及其他參與者(本例中為 B、C、D 和 E)的所有數(shù)據(jù)。需要強(qiáng)調(diào)的一點(diǎn)是，由于其他參與者的時間序列的獨(dú)立性，使用這些參與者的「未來」觀測不會造成數(shù)據(jù)泄漏。

　　其中除了對參與者 A 的日前向鏈方法(左圖)，我們也允許其他參與者的數(shù)據(jù)存在于訓(xùn)練集中(右圖)。請注意，灰色線條表示參與者睡眠的時間。
　　最后，我們總結(jié)了不同嵌套交叉驗(yàn)證方法的優(yōu)缺點(diǎn)，特別是獨(dú)立測試集誤差估計(jì)的計(jì)算時間和偏差。分割的次數(shù)假定數(shù)據(jù)集包含 p 個參與者，以及每個參與者共有 d 天的數(shù)據(jù)。


　　四、總結(jié)
　　我們首先回顧了交叉驗(yàn)證，并列舉了使用嵌套交叉驗(yàn)證的基本原理。然后討論了如何在不造成數(shù)據(jù)泄漏的情況下分割單個時間序列數(shù)據(jù)，具體提出了兩種方法：預(yù)測后一半嵌套交叉驗(yàn)證和日前向鏈嵌套交叉驗(yàn)證。接著我們討論了如何處理多個獨(dú)立的時間序列，兩種方法：常規(guī)嵌套交叉驗(yàn)證和群體知情嵌套交叉驗(yàn)證。