ICLR 2021初審結果公布,高分論文有這些!

Submitted by neurta on Wed, 03/31/2021 - 10:29
iclr

ICLR 2021初審結果在官網公布,沒有論文拿到滿分10分,論文想被接收平均分大概要6分以上。

本次ICLR 2021一共有3013篇論文提交,其中有856篇論文是來自NeurIPS 2020 Rejection 之后重新提交的。以下是本次ICLR 2021提交論文關鍵詞的以下是本次ICLR 2021提交論文關鍵詞的詞云圖:

Image removed.

ICLR,全稱為International Conference on Learning Representations(國際學習表征會議),2013年由兩位深度學習大牛、圖靈獎得主 Yoshua Bengio 和 Yann LeCun牽頭創辦。

ICLR成立至今僅七年,但它已被學術研究者們廣泛認可,被認為是“深度學習領域的頂級會議”。

ICLR 采用公開評審(Open Review )機制。所有提交的論文都會公開,并且接受所有同行的評審及提問,任何學者都可或匿名或實名地評價論文。而在初審公開之后,論文作者也能夠對論文進行調整和修改以及進行Rebuttal。

1 評審總體概況

在今日ICLR 2021初審結果公布之后,又是辣個男人,Criteo AI Lab機器學習研究科學家Sergey Ivanov,他火速寫了個爬蟲程序統計出了ICLR 2021所有論文初審得分的數據。

Image removed.

一眼望去,平均論文得分TOP 100的論文達到了6.75(滿分是10分)

Image removed.

Image removed.

Image removed.

在這所有論文當中,最高的單項評審得分是9分,然而沒有任何一篇論文達到10分。所有論文的平均分數為5.16(中位數為5.25)。這意味著,如果論文接收率為20%,那么論文平均分數要達到6分以上才能被接收。

而所有論文當中平均得分最高的論文是:《How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks》這篇論文的平均得分達到了8.25,全部得分為[8, 9, 9, 7] ,第一作者來自MIT。

另外,之前比較火熱的一篇“視覺Transformer”論文相信大家都有印象:《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》。在推特上,斯坦福大學CS博士、特斯拉AI總監 Andrej Karpathy轉發了該論文,并表示[樂意見到計算機視覺和NLP領域更高效/靈活的體系結構的日益融合]。

Image removed.

這篇論文則是拿到了[7,7,7,7]的得分,而平均分7分在所有論文中的排位是47到95,所以這篇應該算是一篇穩被錄取的論文了。其中一個評審是

Image removed.

圖注:本圖中文為谷歌機器翻譯

?

2?評審流程

ICLR2021 的評審流程如下圖所示:

Image removed.

翻譯下來,大概如下:

1、作者提交論文5、程序主席分配論文給審稿人9、審稿人作出終審

2、區域主席競標論文6、審稿人完成初審10、區域主席作出論文Oral/poster等接收建議

3、程序主席分配論文7、區域主席審閱評審質量11、程序主席作出論文最終的接收決定

4、區域主席推薦審稿人,審稿人競標論文8、“互懟”(Rebuttal)階段

審稿人在評審時主要完成的兩件事:

一、親自回答三個關鍵問題,以建議接受或拒絕:

    • 本文要解決的具體問題是什么?
    • 本文提出的方法出發點和動機( motivated)如何,以及在論文中的位置是否合適?
    • 本文的理論和實驗結果是否正確,科學上是否嚴禁,是否足以支撐本文提出的方法?

二、寫下初審,組織方式如下:

    • 總結論文聲明可以做出的貢獻(持積極和慷慨)。
    • 盡可能全面列出論文的優缺點。
    • 明確說明您的建議(接受或拒絕),并選擇一個或兩個關鍵原因。
    • 提供建議的支持論據。
    • 提出您希望作者回答的問題,以幫助您闡明對本文的理解,并提供對評估充滿信心所需的額外材料。
    • 提供額外反饋,以改善論文質量。明確說明這些要點是有幫助的,不一定是您的決策評估的一部分。

?

3“吐槽大會”

首先回憶一下去年ICLR 2020的審稿,可謂是吐槽與爭議不斷。

比如,一篇ICLR 2020的論文在拿到滿分評價后,其他的兩位審稿人又連續給了2個1分評價,還有的論文三位審稿人均給出了6-6-6的高分,但區域主席卻做出了不適用自己論文的評語。

另外在去年的時候,南京大學周志華教授曾曝出:ICLR 2020竟然有47%的審稿人從來沒有在本領域發表過論文。后來周教授又指出:開放評審進當參與者都是相當level的專家才有效,否則更容易被誤導。學術判斷不能“講平等”,一般從業者與高水平專家的見識和判斷力不可同日而語,頂會能“頂”正是因為有高水平專家把關,但現在已不可能了......

Image removed.

而說到本年度,首先要問的就是雙盲評審有多盲?

對NeurIPS 2020來說,在9298份提交的論文中,已有2313篇論文發在arXiv上,占所有提交論文的25%。
相比之下,ICLR 2021有557篇論文發在arXiv上,占所有提交論文的25%。

其中就包括上文提到的ICLR 2021平均分第一的論文,也能在arXiv上找到:

Image removed.

論文鏈接:https://arxiv.org/pdf/2009.11848.pdf,論文作者來自MIT、馬里蘭大學 、華盛頓大學等。

Facebook AI研究員田淵棟指出某個ICLR評論:“我認為大部分定理只是簡單的演算,將這樣的計算結果稱為定理是不合適的。

Image removed.

但是稍微有點復雜的定理,評論則將是:證明太長且太復雜(并且僅在附錄中顯示,我們無需閱讀),因此該論文實際上屬于期刊。

Image removed.

這確定不是在為難為眾多作者?

而在reddit上,有網友說道:“為什么總是會出現這樣的情況,一篇論文是如何做到同時得到1分和9分的?”

Image removed.

4 評審不易

在本次ICLR 2021上,有心人注意到了一篇長達245頁的論文《Deep Networks and the Multiple Manifold Problem》。

確定這不是把博士論文投稿過來的?這么長的論文先不說搞不搞得明白,確定審稿人哪怕能讀完了這篇論文?

經查閱,本篇論文的初審得分是5、5、7、8,屬于不算太差。這篇論文研究了多重流形問題,這是一種在機器視覺應用中建模的二進制分類任務,其中訓練了一個深層的全連接神經網絡來分離單位球面的兩個低維子流形......

一句話來說:本文證明了深度全連接神經網絡的有限時間( finite-time )泛化結果,該神經網絡通過梯度下降訓練以對結構化數據進行分類,其中所需的寬度,深度和樣本復雜度僅取決于數據的固有屬性。把這篇論文從頭翻到尾,從尾翻到頭,確定全文只有三張圖,而剩下的200多頁全部都是令人感到敬畏的數學證明公式。

給這篇論文5分的一位審稿人說道:

本文從多個流形問題的角度分析了深度神經網絡。但是,它需要更簡單的解釋來面向更廣泛的受眾,另外考慮到這篇文章有245頁,建議本文最好寫成一本書,而不是發表成會議論文。

Image removed.

再看一下另外一個給到8分的評審,這條評審首先對論文研究內容給出了肯定,之后又提到這篇論文的技術性之強令人發指,他表示懷疑或許沒有多少讀者會閱讀這些證明。

Image removed.

圖注:本圖中文為谷歌機器翻譯

一方寫的太復雜,而另一方又沒時間看或看不太懂,對此局面,估計雙方都會忍不住表示道:這也不能全怪我。

另外在推特上還有大佬指出一篇論文的評審結果:“我認為該論文尚未準備好在ICLR之類的會議上發表…可以提交給更合適的會議?!?/p>

然而同一篇論文的另一個評審卻是:“這項工作簡單但有效……使其成為ICLR的不錯的選擇,考慮被接受論文的前50%”。

Image removed.

雖然這位大佬沒有說出是哪篇論文,但是我們巧合地發現,這位大佬說的正是上面這篇245頁的論文。另外,目前仍然不確定這篇就是頁數最長的論文。

?

5 總結

目前尚在Rebuttal階段,得分不高的作者請不要喪氣不要傷心,盡情合理地懟回去吧,畢竟今年肯定也會有很多審稿人沒有相關領域經驗,而不代表你們的論文研究不好。

另外論文平均得分高于6分的作者們也請不要掉以輕心,除了后面可能會反超之外,也要盡可能地合理合據地把給出更多補充材料,以及好好回答審稿人的問題,不然可能會掉分哦~

最后,ICLR官方已做出表示, 2021年5月4日-8日會議將僅有線上召開。

Image removed.

參考鏈接:
openview網址:https://openreview.net/group?id=ICLR.cc/2021/Conferenced=ICLR.cc/2021/Conference
全部統計數據鏈接:https://docs.google.com/spreadsheets/d/1MLlgV82_4K1FJGSjUKm2R8cw5msn4xmrhtnS9FLAS6k/edit#gid=189496698
其他參考鏈接:https://www.reddit.com/r/MachineLea
冯仰妍破处门