严禁一稿多投:NeurIPS 2019刚刚毙掉了19篇论文

  • 日期:08-12
  • 点击:(1626)


机器之心报告

参与:泽南,杜维

上周,人工智能的顶级学术会议NeurIPS 2019的论文评论结果刚刚发布。昨天,NeurIPS计划主席兼谷歌大脑研究员Hugo Larochelle发布公告,宣布会议因多次提交而拒绝了19篇论文。这让人们的神经再次紧张。

sPMN211Mw=DseJLk9Jx9Lc7fLYvXQ1MzFZaoJdR3XNL2V1564469838402.jpg

是不是可以再次改变它? NeurIPS的项目主席表示他们仍在审查怀疑与其他人工智能会议类似的论文,并且拒绝的次数可能会在未来增加。

“随着NeurIPS 2019年会议的审查工作的完成,作者的回应阶段开始了,我们现在宣布了关于流程主席(PC)审查策略的最新情况,”Hugo Larochelle说。

hh4OCt0EGUROuTaPbHEg9FtOHeJEOg2qlr27DpPWOglkE1564469838402.jpg

截止日期已结束,论文未经审核

首先,对于作者来说,论文提交的截止日期是一个障碍。对于审稿人来说,审查截止日期同样令人兴奋。

7月25日至7月31日是NeurIPS 2019年文章的作者起草并提交了一份审查该反驳的文件的时间。对于当前的评论意见,作者可以解释审查审查的关注点,或澄清审查中可能存在的任何误解和事实错误。随后,作者的回复将提交给审稿人和区域主席(AC)进行讨论,最终他们将提出审查建议。

您可能已经注意到,在纸质审核的提交截止日期和审核发布时间的7月17日之间有很多天。会议的组织者表示,这段时间最初是供区域主席,高级区域主席和计划主席(PC)跟踪逾期文章,以便在必要时进行紧急审查。

虽然大多数审稿人按时完成审核任务,但仍有大量审稿人推迟提交审核,甚至在截止日期的最后一刻选择退出审核人员。因此,截止日期后36小时,只有73%的论文收到至少3篇评论,大约90%的评论者提交了评审结果。

对于会议审查员,区域主席和计划主席来说,他们似乎处于繁忙和繁忙的阶段。

严禁提交更多手稿

正如发稿征集中提到的那样,今年的NeurIPS 2019宣布与其他AI学术会议合作,以防止多次提交的现象。组织者选择的协作会议与NeurIPS在主题领域和审查时间上相交。

为了确保NeurIPS会议内容的原创性和新颖性,会议希望积极制止多次提交的现象。此外,会议主席还希望避免作者试图利用系统漏洞并增加通过多次提交接收的机会。查找这些多卷论文也为会议增添了许多额外的工作。

针对这种情况,我们与BMVC,ECML-PKDD,EMNLP-IJCNLP和ICCV的计划委员会主席合作。我们的流程经理运行脚本,将提交给NeurIPS的论文与同一作者在这些学术会议上提交的论文进行比较。然后,我们审查了最相似的文件,以确定它们是否违反了双重备案政策。

通过上述操作,我们发现并确定提交给NeurIPS的19篇论文与同一作者提交给不同学术会议的其他论文之间存在重大差异。因此,我们现在拒绝接受这19篇论文。我们还发现了一些涉嫌重复的文件,并指定了现场主席进行仔细调查,以帮助我们确定公平的解决方案。

此外,会议还在同一作者提交给NeurIPS的所有论文中运行相似性脚本,突出显示重复的纸质案例。会议主席没有亲自审查这些重复的文件,而是指定相同的审查人员和现场主席进行审查。然后,NeuroIPS将告知他们这些提交的论文将被一起评估,以确定是否收到其中一个导致另一个因重复而无法收到。

有关作者回复和双重提交的更多信息,请参见《NeurIPS 2019 征文须知》。

链接:

丢失的纸质评论公平性?

将相同的评论分配给类似的论文以避免它们“可能”的相似性可以提高评论论文的效率,但这显然会破坏论文评审的公平性。英特尔科学家Randall Munroe说:“这是一个让审查机制有偏见的好方法。我很惊讶机器学习会议会变得如此堕落 - 故意加剧了审查制度的偏见。“

Munroe认为,如果向会议主席(AC)提出回应“多次提交”问题的任务,那么让他们以无偏见的方式审查结果可能要好得多,因为这与该领域的主席。它很简单,很少看到多个提交并在两个会议中接收它们。

在这方面,项目主任Hugo Larochelle不同意:“请注意,如果论文是高度重复的,我们实际上希望双方都会拒绝它,因为我们想要停止这种机会主义策略。”

cIHgMlTEprC50twUT9rqdyNKiL3Lkio4wvR0=fHHDjpCT1564469996879.jpg

Larochelle还说,其实这种方法对论文的作者也有好处,论文的评论可以在评论中提出自己的意见,而论文的作者也可以在回复中反驳 - 如果该字段主席决定,这些是我做不到的。

似乎为了减少会议收到的论文的水分,组织者正在采取各种措施。上周四,NeuroIPS 2019年会议发布了论文评审结果。对于有效提交的每篇论文,作者至少收到了三篇评论。

在众所周知的社交平台上,人们已经开始调查(收到)收到的评论结果。总的来说,评论提供的大多数评论非常相关,但也有一些缺乏专业知识/不仔细阅读论文/故意提问:

为什么你在文章中使用了这么多标点符号?这很难读,我建议你修改它。

当然,对灵魂有更直接的攻击:

什么是softmax?

wLG4fzogG1OEV8ozeHsnq6ArABaNpZMe8AFKydrpjUp7Q1564469996877.jpg

XabA3X6ZriZQBYIpkAnT=AYBarxWCXqvNS3K0eZ1fZSW11564469838404.jpg

最后,如果你看到这些并不平静,首先拿一袋NIPS压力震撼。

DpKsSeYSIUJyy5fYZSftrCv2v7k==1i8ZjLvUDtmqoEty1564469996879.jpg

参考内容:

机器之心报告

参与:泽南,杜维

上周,人工智能的顶级学术会议NeurIPS 2019的论文评论结果刚刚发布。昨天,NeurIPS计划主席和谷歌大脑研究员Hugo Larochelle发布公告,宣布会议因多次提交而拒绝了19篇论文。这让人们的神经再次紧张。

sPMN211Mw=DseJLk9Jx9Lc7fLYvXQ1MzFZaoJdR3XNL2V1564469838402.jpg

是不是可以再次改变它? NeurIPS的项目主席表示他们仍在审查怀疑与其他人工智能会议类似的论文,并且拒绝的次数可能会在未来增加。

“随着NeurIPS 2019年会议的审查工作的完成,作者的回应阶段开始了,我们现在宣布了关于流程主席(PC)审查策略的最新情况,”Hugo Larochelle说。

hh4OCt0EGUROuTaPbHEg9FtOHeJEOg2qlr27DpPWOglkE1564469838402.jpg

截止日期已结束,论文未经审核

首先,对于作者来说,论文提交的截止日期是一个障碍。对于审稿人来说,审查截止日期同样令人兴奋。

7月25日至7月31日是NeurIPS 2019年文章的作者起草并提交了一份审查该反驳的文件的时间。对于当前的评论意见,作者可以解释审查审查的关注点,或澄清审查中可能存在的任何误解和事实错误。随后,作者的回复将提交给审稿人和区域主席(AC)进行讨论,最终他们将提出审查建议。

您可能已经注意到,在纸质审核的提交截止日期和审核发布时间的7月17日之间有很多天。会议的组织者表示,这段时间最初是供区域主席,高级区域主席和计划主席(PC)跟踪逾期文章,以便在必要时进行紧急审查。

虽然大多数审稿人按时完成审核任务,但仍有大量审稿人推迟提交审核,甚至在截止日期的最后一刻选择退出审核人员。因此,截止日期后36小时,只有73%的论文收到至少3篇评论,大约90%的评论者提交了评审结果。

对于会议审查员,区域主席和计划主席来说,他们似乎处于繁忙和繁忙的阶段。

严禁提交更多手稿

正如发稿征集中提到的那样,今年的NeurIPS 2019宣布与其他AI学术会议合作,以防止多次提交的现象。组织者选择的协作会议与NeurIPS在主题领域和审查时间上相交。

为了确保NeurIPS会议内容的原创性和新颖性,会议希望积极制止多次提交的现象。此外,会议主席还希望避免作者试图利用系统漏洞并增加通过多次提交接收的机会。查找这些多卷论文也为会议增添了许多额外的工作。

针对这种情况,我们与BMVC,ECML-PKDD,EMNLP-IJCNLP和ICCV的计划委员会主席合作。我们的流程经理运行脚本,将提交给NeurIPS的论文与同一作者在这些学术会议上提交的论文进行比较。然后,我们审查了最相似的文件,以确定它们是否违反了双重备案政策。

通过上述操作,我们发现并确定提交给NeurIPS的19篇论文与同一作者提交给不同学术会议的其他论文之间存在重大差异。因此,我们现在拒绝接受这19篇论文。我们还发现了一些涉嫌重复的文件,并指定了现场主席进行仔细调查,以帮助我们确定公平的解决方案。

此外,会议还在同一作者提交给NeurIPS的所有论文中运行相似性脚本,突出显示重复的纸质案例。会议主席没有亲自审查这些重复的文件,而是指定相同的审查人员和现场主席进行审查。然后,NeuroIPS将告知他们这些提交的论文将被一起评估,以确定是否收到其中一个导致另一个因重复而无法收到。

有关作者回复和双重提交的更多信息,请参见《NeurIPS 2019 征文须知》。

链接:

丢失的纸质评论公平性?

将相同的评论分配给类似的论文以避免它们“可能”的相似性可以提高评论论文的效率,但这显然会破坏论文评审的公平性。英特尔科学家Randall Munroe说:“这是一个让审查机制有偏见的好方法。我很惊讶机器学习会议会变得如此堕落 - 故意加剧了审查制度的偏见。“

Munroe认为,如果向会议主席(AC)提出回应“多次提交”问题的任务,那么让他们以无偏见的方式审查结果可能要好得多,因为这与该领域的主席。它很简单,很少看到多个提交并在两个会议中接收它们。

在这方面,项目主任Hugo Larochelle不同意:“请注意,如果论文是高度重复的,我们实际上希望双方都会拒绝它,因为我们想要停止这种机会主义策略。”

cIHgMlTEprC50twUT9rqdyNKiL3Lkio4wvR0=fHHDjpCT1564469996879.jpg

Larochelle还说,其实这种方法对论文的作者也有好处,论文的评论可以在评论中提出自己的意见,而论文的作者也可以在回复中反驳 - 如果该字段主席决定,这些是我做不到的。

似乎为了减少会议收到的论文的水分,组织者正在采取各种措施。上周四,NeuroIPS 2019年会议发布了论文评审结果。对于有效提交的每篇论文,作者至少收到了三篇评论。

在众所周知的社交平台上,人们已经开始调查(收到)收到的评论结果。总的来说,评论提供的大多数评论非常相关,但也有一些缺乏专业知识/不仔细阅读论文/故意提问:

为什么你在文章中使用了这么多标点符号?这很难读,我建议你修改它。

当然,对灵魂有更直接的攻击:

什么是softmax?

wLG4fzogG1OEV8ozeHsnq6ArABaNpZMe8AFKydrpjUp7Q1564469996877.jpg

XabA3X6ZriZQBYIpkAnT=AYBarxWCXqvNS3K0eZ1fZSW11564469838404.jpg

最后,如果你看到这些并不平静,首先拿一袋NIPS压力震撼。

DpKsSeYSIUJyy5fYZSftrCv2v7k==1i8ZjLvUDtmqoEty1564469996879.jpg

参考内容: