泛化性的危機!LeCun發文質疑:測試集和訓練集永遠沒關係

編輯:LRS

【導讀】長久以來一個觀點就是在測試集上表現更好的模型,泛化性一定更好,但事實真是這樣嗎?LeCun團隊最近發了一篇論文,用實驗證明了在高維空間下,測試集和訓練集沒有關係,模型做的一直只有外推沒有內插,也就是說訓練集下的模型和測試集表現沒關係!如此一來,刷榜豈不是毫無意義?

內插(interpolation)和外推(extrapolation)是機器學習、函式近似(function approximation)中兩個重要的概念。

在機器學習中,當一個測試樣本的輸入處於訓練集輸入範圍時,模型預測過程稱為「內插」,而落在範圍外時,稱為「外推」。

一直以來深度學習的研究都依賴於兩個概念:

最先進的演算法之所以工作得這麼好,是因為它們能夠正確地內插訓練資料;

在任務和資料集中只有內插,而沒有外推。

但圖領獎得主Yann LeCun團隊在arxiv掛了一篇論文公開質疑這兩個概念是錯誤的!

泛化性的危機!LeCun發文質疑:測試集和訓練集永遠沒關係

他們在論文中表示,從理論上和經驗上來說,無論是合成數據還是真實資料,幾乎可以肯定的是無論資料流形(data manifold)的基本本徵維數(intrinstic dimension)如何,內插都不會出現在高維空間(>100)中。

本徵維度即在降維或者壓縮資料過程中,為了讓你的資料特徵最大程度的保持,你最低限度需要保留哪些features,它同時也告訴了我們可以把資料壓縮到什麼樣的程度,所以你需要了解哪些 feature 對你的資料集影響是最大的。

考慮到當前計算能力可以承載的實際資料量,新觀察到的樣本極不可能位於該資料集的convex hull中。因此,他們得出了兩個結論:

目前使用和研究的模型基本都是外推的了;

鑑於這些模型所實現的超越人類的效能,外推機制也不一定非要避免,但這也不是泛化效能的指標。

文中研究的第一階段主要包括理解環境維度(即資料所在空間的維度)的作用,還包括基本資料流形內在維度(即資料最小表示所需的變數數量)的作用,以及包含所有資料流形的最小仿射子空間的維數。

可能有人認為像影象這樣的資料可能位於低維流形上,因此從直覺和經驗上認為無論高維環境空間如何,內插都會發生。但這種直覺會產生誤導,事實上,即使在具有一維流形的極端情況下,底層流形維度也不會變化。

泛化性的危機!LeCun發文質疑:測試集和訓練集永遠沒關係

在描述新樣本處於內插區域的機率演變時,上圖給出了在對數尺度上看到的不斷增加的資料集大小,以及基於對500000次試驗的蒙特卡羅估計的各種環境空間維度(d),左側圖為從高斯密度N(0, Id)中取樣資料,中間圖從具有1的本徵維數的非線性連續流形取樣資料,右圖從高斯密度恆定維數4的仿射子空間中取樣資料,而環境維數增加。

從這些數字可以清楚地看出,為了保持內插區域的恆定機率,不管潛在的內在流形維度訓練集的大小必須隨d呈指數增長,其中d是包含整個資料流形的最低維仿射子空間的維數。

泛化性的危機!LeCun發文質疑:測試集和訓練集永遠沒關係

在所有情況下,該資料集的本徵維度均為1,流形是連續的、非線性的、分段光滑的,對應於單純形的遍歷。

因此可以得出結論,為了增加處於內插區域的機率,應該控制d, 而不是控制流形基礎維度和環境空間維度。

在研究畫素空間中的測試集外推時,研究人員首先研究了MNIST、CIFAR和Imagenet序列集中處於插值狀態的測試集的比例。

泛化性的危機!LeCun發文質疑:測試集和訓練集永遠沒關係

為了掌握資料維度的影響,使用從兩種策略獲得的不同數量的維度來計算該比例。第一種策略只從影象的中心保留一定數量的維度,它的優點是保留流形幾何體,同時只考慮有限的維數;第二種策略對影象進行平滑和子取樣,它的優點是能夠保留流形的整體幾何體,同時刪除高頻結構(影象細節)並壓縮較少維數的資訊。

在這兩種情況下都看到,儘管自然影象具有資料流形幾何結構,但相對於資料維度d,在內插區域中查詢樣本還是非常困難。

泛化性的危機!LeCun發文質疑:測試集和訓練集永遠沒關係

在降維空間中研究測試集外推時,一組實驗使用非線性或線性降維技術來視覺化高維資料集。為了明確地瞭解所用的降維技術是否保留了內插或外推資訊時,研究人員建立了一個數據,該資料由d=8,12的d維超立方體的2d頂點組成。

泛化性的危機!LeCun發文質疑:測試集和訓練集永遠沒關係

這些資料集具有特定性,即任何樣本相對於其他樣本都處於外推狀態。並且使用8種不同的常用降維技術對這些頂點進行二維表示。可以觀察到降維方法會丟失內插/外推資訊,並導致明顯偏向插值的視覺誤解。

內插和外推提供了一種關於給定資料集的新樣本位置的直觀幾何特徵,這些術語通常被用作幾何代理來預測模型在看不見的樣本上的效能。從以往的經驗來看似乎已經下了定論,即模型的泛化效能取決於模型的插值方式。這篇文章透過實驗證明了這個錯誤觀念。

並且研究人員特別反對使用內插和外推作為泛化效能的指標,從現有的理論結果和徹底的實驗中證明,為了保持新樣本的插值,資料集大小應該相對於資料維度呈指數增長。簡而言之,模型在訓練集內的行為幾乎不會影響該模型的泛化效能,因為新樣本幾乎肯定位於該凸包(convex)之外。

無論是考慮原始資料空間還是嵌入,這一觀察結果都是成立的。所以研究人員認為,這些觀察為構建更適合的內插和外推幾何定義打開了大門,這些定義與泛化效能相一致,特別是在高維資料的情況下

參考資料:

https://arxiv。org/abs/2110。09485

頂部