neural

神經網絡如何外推:從前饋到圖形神經網絡

Submitted by neurta on Thu, 01/14/2021 - 08:26
我們研究了通過梯度下降訓練的神經網絡是如何外推的,也就是說,它們在訓練分布的支持范圍之外學到了什么。以前的工作報告了用神經網絡外推時的混合經驗結果:雖然多層感知器(MLP)在某些簡單任務中無法很好地外推,但是具有MLP模塊的結構化網絡圖神經網絡(GNN)在較復雜的任務中已顯示出一定的成功。通過理論解釋,我們確定了MLP和GNN良好推斷的條件。首先,我們對ReLU MLP從原點沿任何方向快速收斂到線性函數的觀察進行量化,這意味著ReLU MLP不會外推大多數非線性函數。但是,當訓練分布足夠“多樣化”時,他們證明可以學習線性目標函數。其次,結合分析GNN的成功和局限性,這些結果提出了一個假設,我們為該假設提供了理論和經驗證據:GNN在將算法任務外推到新數據(例如較大的圖或邊權重)方面的成功取決于編碼任務架構或功能中的特定于非線性。我們的理論分析建立在超參數網絡與神經正切核的連接上。根據經驗,我們的理論適用于不同的培訓環境。較大的圖形或邊緣權重)依賴于對體系結構或功能中特定于任務的非線性進行編碼。我們的理論分析建立在超參數網絡與神經正切核的連接上。根據經驗,我們的理論適用于不同的培訓環境。較大的圖形或邊緣權重)依賴于對體系結構或功能中特定于任務的非線性進行編碼。我們的理論分析建立在超參數網絡與神經正切核的連接上。根據經驗,我們的理論適用于不同的培訓環境。
冯仰妍破处门