论文提交数量爆炸式增长,最大规模NLP会议ACL 2019放榜

LandscapeMi 2019-05-15

自然语言处理领域顶级会议 ACL 将于 7 月 28 日至 8 月 2 日在意大利佛罗伦萨举行。日前,ACL 2019 已经向论文作者发放通知,希望投稿 ACL 2019 的读者们的论文能够上榜。

最大规模NLP会议

3月份时,ACL 官方公布了今年大会收到的投稿数量 ——2906 篇,相比于去年的 1544 篇出现了大幅增长。ACL 2019 也毫无争议地成为了目前规模最大的一场 NLP 学术会议。

下图展示了近 20 年来 ACL 大会论文投递数量、评审人员数量和(高级)领域主席数量变化趋势图。

论文提交数量爆炸式增长,最大规模NLP会议ACL 2019放榜

图源:http://acl2019pcblog.fileli.unipi.it/?p=156

除去撤回论文等,ACL 2019 共收到有效论文 2694 篇,包括 1609 篇长论文和 1085 篇短论文。下表展示了各领域的提交论文情况:

论文提交数量爆炸式增长,最大规模NLP会议ACL 2019放榜

其中提交论文数量位列前三的领域与ACL 2018一致:

  • 信息提取与文本挖掘(占 ACL 2019 有效提交论文总数的9.2%,去年该领域论文所占比例为11.5%);
  • 机器学习(8.2% ACL 2019 vs. 7.4% ACL 2018);
  • 机器翻译(7.7% ACL 2019 vs. 8.3% ACL 2018)。

「对话和交互系统」在两届 ACL 会议上都在前五之内。但是,去年提交论文数量排第四的「文档分析」今年掉到了16位,去年以59篇论文排名14位的「生成」领域今年以156篇提交论文数量一跃而至第5名(该领域提交论文数量增长率甚至超过了大会总的增长率)。此外,「语言学理论、认知建模和心理语言学」(Linguistic Theories, Cognitive Modeling and Psycholinguistics)领域也有很大增长,从去年 24 篇提交论文发展到今年的 60 篇提交论文。

总体而言,各个分支领域的提交论文分布较为平均,如下图所示:

论文提交数量爆炸式增长,最大规模NLP会议ACL 2019放榜

图源:http://acl2019pcblog.fileli.unipi.it/?p=152

惯例:被吐槽的评审

学术会议接收到的论文越来越多,论文评审不可避免地成为了一大难题。事实也证明,每个AI学术大会,都会被或多或少吐槽「评审不专业」、「混乱」等。

如前文所述,ACL 已经成为自然语言领域学术会议的龙头,投稿过量的情况下论文评审难免被诟病。

先不说评审质量,今年的 ACL 论文结果的通知就比既定时间晚了数个小时,让一直侯在电脑前等结果的作者们「心慌慌」,ACL 2019 官方 Twitter 下就有网友表示「8 个小时的等待快把我逼疯了」。

论文提交数量爆炸式增长,最大规模NLP会议ACL 2019放榜

最后,官方也给出了推迟的原因,「通知延后是因为 START 系统技术问题。我们不确定通过这个系统邮件联系作者是否有用。我们正在处理,请作者们耐心等候。」

当然,这只是一个「小意外」,最重要的还是论文评审质量的反馈。emmm,小编今天一早打开 Twitter,首先映入眼帘的就是 ACL 2019 的信息,有的作者在庆祝自己的论文被接收,有的就在吐槽了,也有部分作者考虑改投 EMNLP 了。

论文提交数量爆炸式增长,最大规模NLP会议ACL 2019放榜

其实,面对今年如此巨大的提交论文涨幅,ACL 2019程序委员会也采取了一系列措施,以更好地执行论文评审过程。

据官方介绍,ACL 2019 在项目委员会(Program Committee)之上开设高级项目委员会(Senior Program Committee),并为高级项目委员会招募大量高级领域主席(SAC,共 46 位,每个领域 2-4 名)和领域主席(AC,184 名,每个领域 3-15 名)。

其中,SAC 向 AC 和评审人员分配论文,并给出自己领域内的推荐;AC 则各自管理自己领域内的一小部分论文,领导评审人员之间的讨论,写 meta-review,并给出最初的论文推荐结果。这一结构对缺乏有经验的评审者这一问题提供了一些作用。AC 集中看一小部分论文,因此可以更加关注评审流程。而 ACL 2019 共招募了 2281 名评审人员,相比于去年的 1610 名增长了42%。

此外,ACL 2019 还做了一些流程上的改变:

  • 放弃了 paper bidding 阶段。这个阶段会占用数天时间,鉴于今年的论文数量,这一过程会更加耗时。此外,大会还担心评审人员倾向于选择自己喜欢的论文,而不是选择自己有资格评审的论文。大会计划使用 Toronto Paper Matching System (TPMS) 为评审者分配论文,但这个系统的效果不如预期。SAC 在这一过程中做了杰出的工作,不过这个任务显然需要更好的自动化支持。
  • 和 NAACL 2019 一样,ACL 2019 取消了作者回应阶段。作者回应最初旨在改进评审流程,但非常耗时(不仅是作者的时间,还有评审者和领域主席的时间)。
  • ACL 2019 采用了更加简单的评审形式,既鼓励严谨的评审,又减轻了评审人员的工作负担,更加强调决策过程中的关键点。

目前,ACL 2019 的完整论文列表还未公布,因为尚不知道接收率等数据,机器之心会持续关注最新消息。截止到大会结束的这段时间,我们也会为大家推送优质的 ACL 论文。如果有读者的论文被此大会接收,也可以留言给我们,我们会选择一些论文推荐给广大读者。

相关推荐