专业的东莞网站推广,论坛网站源码下载,网站放音乐代码,牡丹区建设局网站来源#xff1a;机器之心编辑#xff1a;陈萍、杜伟布朗大学计算机科学系教授、机器学习研究者、2018 年 ACM Fellow 迈克尔 利特曼#xff08;Michael L. Littman#xff09;在 ACM 通讯上发文斥责「部分学者正在威胁计算机科学研究的诚实性」。他在文章中指出了同行评审… 来源机器之心编辑陈萍、杜伟布朗大学计算机科学系教授、机器学习研究者、2018 年 ACM Fellow 迈克尔 · 利特曼Michael L. Littman在 ACM 通讯上发文斥责「部分学者正在威胁计算机科学研究的诚实性」。他在文章中指出了同行评审中可能普遍存在却无人注意到的学术道德乱象论文作者串通一气不择手段使自己的论文被接收。简单来说几位作者将各自的论文提交至顶会相互告知论文标题故意违反盲审规则造成重大未披露的利益冲突。接着他们努力成为这些论文的审稿人并给出正面的评审意见甚至在其他审稿人不知情的情况下游说领域主席。更过分的是如果其他审稿人可能会影响到论文评审结果他们会发送威胁性电子邮件。这也太可怕了研究者为了使自己的论文被接收竟然做到了这种地步。Michael 教授虽未明确点名哪些会议、期刊或者哪些学者采用了这些方法但指出了这种现象普遍存在并且已经威胁到了学术研究的公平性和诚实性。图左Michael L. Littman。Michael L. Littman 的观点获得了众多其他学者的赞同。奥地利林茨大学计算机科学系网络与安全研究所负责人、谷歌安卓平台安全主管 René Mayrhofer 表示「很多研究文化都以诚实为准则所以同行评审中论文作者的抱团现象令人不安。一想到我们要在积极对抗actively adversarial setting的环境中做研究就感到不寒而栗。」全栈数据科学家、机器学习工程师 Dr. T 则被学术界的抱团现象深深地震惊到了。AI 爆火顶会论文接收难上加难一直以来计算机科学学科充分且高效地利用同行评审会议论文并将同行评审作为传播具有时效性和影响力的研究成果的重要机制。但近来学术界试图「玩弄」评审制度的做法将破坏这种机制并且不利于研究成果的高效分享。Michael 教授想要提醒社区的是一种日益严重的学术道德乱象——论文作者串通一气正一步步蚕食计算机科学所依仗的的同行评审制度。更有甚者造成的影响已经远远超出了计算机科学领域。首先来看评审过程具有的几个显著特征它们并不是某一学术会议所特有但 Michael 教授曾参与组织的三至四个会议都具备这些特征同行评审过程中通常会设有一个程序委员会由一至两名程序主席、数百名领域主席以及数千名审稿人组成。评审过程中要求审稿人说明是否有利益冲突情况力求论文审核的公正性作者提交其论文时会被要求隐去姓名俗称「盲审」审稿人对提交论文的标题和摘要进行评估判断是否符合自身评审要求。若符合则进行投标bid。以近年来的 ACL 会议为例审稿人投标过程中会对论文给出 yes/no/maybe 的选择审稿人审核哪篇文章则由程序主席决定在分配论文时他们会充分尊重审稿人的投标结果并尽量避免出现公开的利益冲突审稿人审阅分配给自己的论文并提交评审意见并可以与「共同负责」某篇论文的其他审稿人分享各自的看法并就接受或者拒绝论文达成一致。领域主席和程序主席也会根据评审意见做出规划。一般来说顶级学术会议的接收率在 15%–25% 之间并且一篇论文在某个会议上发表的机会只有一次所以论文被拒的概率还是非常高的。论文被接收往往能够提高研究者的声誉对他们的职业生涯发展也有影响。学术地位的竞争也非常激烈特别是对于研究生而言论文被拒会对未来的职业前景造成影响。此外在一些国家学术会议和期刊上发表论文的数量往往与学者的职位晋升和薪资调整挂钩。在种种压力下研究者尽可能地把自己的工作做到最好。通常会议截止日期前的一两个星期压力异常大计算机满负荷运行睡眠时间也很少。即便如此投入再多也似乎并不足以保证成功因为评审过程充满了随机性。2014 年的 NIPS 大会现已更名为 NeurIPS将会议评审分组成了两个独立的评审委员会并让他们负责审查 10% 提交的论文。结果是一个程序委员会接受的论文中有近 60% 被另一个程序委员会拒绝。这表明许多论文的命运由审稿人掌握论文本身的价值并不足以保证其被接收。为了提高论文被接收的几率多数研究者选择更努力地创新和充实论文内容但不可避免地也有一些学者则选择投机取巧甚至作弊。重压之下论文作者选择串通抱团Michael 教授在文章中揭露了自己知道的一种作弊方式论文作者串通起来。他表示「虽然还没有公开披露细节但调查人长时间的详细调查和分析让我没有理由怀疑他得出的结论。」以下是具体的作弊步骤几位作者提前串通好将论文提交至顶会共享彼此论文的标题故意违反盲审原则造成重大的未披露的利益冲突隐瞒利益冲突投标审核这些论文努力成为这些论文的审稿人对这些论文做出非常正面的评论甚至在其他审稿人不知情的情况下通过秘密渠道游说领域主席如果审核到了这些论文但是其他审稿人可能会影响结果所以有时会发送威胁电子邮件给这些审稿人在讨论论文过程中临时在网上会议管理系统上改名这或许是为了避免因支持质量较差的论文而影响自身名声。如果这种行径没有被发现并且成功了其结果就是一些作者会通过非常不道德的行为使论文被顶会接收。鉴于许多会议限制论文接收数量这就意味着很多质量高的论文被拒绝。因此会议的含金量以及整个社区的诚信会受到影响。学术界必须对这些行为做出强有力的回应向行为不端的论文作者和审稿人发出一个明确的信息他们的所作所为是不可接受的。然而除了警告他们之外目前还没有更有效的干预措施来打击作弊者。顶会组织者正在权衡数十项提案但这些提案都存在一些缺陷。更好的论文分配技术将有助于弥补正在被利用的漏洞。但是如果没有更好的调查工具我们可能永远也无法追究这些人的责任。目前同行评审过程主要还是由「诚实」的参与者组成。但是一旦不道德的行为非常普遍「诚实」的同行评审过程将会崩溃。作弊者冒着破坏其职业成功所依赖的系统的风险。现在是时候仔细研究同行评审过程并调整激励措施了以便每个人都能共享最佳的研究成果。参考链接https://github.com/ymcui/ACL2020-PC-Blogs-Chinese/blob/master/post/5-conflict-of-interest.zh.mdhttps://cacm.acm.org/magazines/2021/6/252840-collusion-rings-threaten-the-integrity-of-computer-science-research/fulltext未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
