我昨天参加了一个关于科学的AI活动，在NeurIPS举行的一个小组讨论会上。小组成员讨论了他们计划如何在科学过程中取代人类的各个层面。因此，我站起来抗议他们所做的事情是邪恶的。我说，看看你周围，房间里充满了各种类型的研究人员，他们大多数都是年轻人。他们在这里是因为他们热爱研究，并希望为推动人类知识的进步做出贡献。如果你把人类从循环中剔除，也就是说人类在科学研究中不再扮演任何角色，你就是剥夺了他们所热爱的活动，以及他们生活中一个关键的意义来源。我们都想做一些有意义的事情。我问，你们为什么想剥夺我们为科学做出贡献的机会？ 我的问题改变了小组讨论的方向，并为接下来的讨论定下了基调。之后，许多与会者来找我，要么感谢我把他们的感受用语言表达出来，要么问我是否真的意味着我所说的。因此，我想在这里再次提出这个问题。 其中一位小组成员问我是否真的更喜欢做科学的乐趣，而不是找到癌症的治疗方法和实现不朽。我回答说，我们最终会治愈癌症，并且在某个时刻可能能够选择不朽。科学在有人的掌舵下已经取得了巨大的进展。我们总有一天会获得聚变能源和太空旅行。也许将人类剔除出循环可以加快这个过程，但我认为这不值得。我认为人类掌控自己的进步至关重要。扩展人类的集体知识，我认为是我们能做的最有意义的事情。如果人类无法再对科学做出有用的贡献，这将是一个灾难。因此，不，我不认为如果这意味着我们再也无法做科学，找到癌症的治疗方法更快是值得的。 昨晚来找我交谈的许多人，那些问我是否认真或只是开玩笑的人，认为这个前提是荒谬的。当然，科学中总会有人的空间。总会有只有人类才能完成的任务，只有人类才能拥有的洞察等等。因此，我们应该欢迎AI。研究是艰难的，我们需要尽可能多的帮助。我回应说我希望他们是对的。也就是说，我真心希望在研究过程中总会有一些人类必不可少的部分。但我所反对的并不是我们可能称之为“弱科学自动化”，即人类在重要角色中保持在循环中，而是“强科学自动化”，即人类变得多余。 其他人认为争论这个问题是不成熟的，因为完全的科学自动化并不在眼前。再一次，我希望他们是对的。但我认为现在讨论这个没有任何害处。我当然不认为我们需要在科学自动化方面进行更多的研究。 还有其他人评论说这是一个无意义的争论。科学自动化无论我们想不想都在到来，我们最好习惯它。火车来了，我们可以上车或站在它的路上。我认为这是一个非常懦弱的论点。作为一个社会，我们有责任决定如何使用我们开发的技术。这不是一列火车，而是一辆卡车，我们最好抓住方向盘。 其中一位小组成员做了一个国际象棋的类比，认为尽管计算机在国际象棋方面现在比人类更优秀，但仍然有很多人玩国际象棋。因此，我们可能会将科学作为一种爱好，即使真正的科学是由计算机完成的。我们可能会在远离前沿的地方玩耍，填补AI系统不关心的空白。可以说，这不是一个令人满意的答案。虽然我喜欢游戏，但我绝对不认为玩游戏的意义与推动人类知识的进步相当。谢谢，但不需要。 总体而言，值得注意的是，我交谈的大多数人都感谢我提出这个观点，因为我表达了他们已经有的担忧。其中一位评论说，如果你在自动化科学方面工作，甚至对最终目标一点也不担心，你就是一个精神病患者。我想补充的是，另一种可能性是你并不真正相信你所做的事情。 有人可能会问，为什么我在科学上提出这个论点，而不是例如视觉艺术、音乐或游戏设计。这是因为昨天的活动是关于科学的AI。但我认为同样的论点适用于所有人类创造性和智力表达的领域。我们应该尽量避免使人类的智力或创造性工作变得多余，如果没有同样有意义的新角色供人类过渡，我们绝对应该避免。 你还可以进一步争辩，剔除人类在科学研究等有意义的创造性工作中的角色是极其自私的。你获得了发明新AI方法的智力满足感，但下一代却没有机会参与。你为什么要剥夺你的孩子（学术和生物上的）参与世界上最有意义活动的机会？ 那么，考虑到我是一个积极从事用于自动化科学的AI方法的AI研究者，我相信什么呢？我相信帮助我们提高生产力和创造力的AI工具是伟大的，但取代我们的AI工具是坏的。我热爱科学，我害怕一个未来，在这个未来中，我们被推回黑暗时代，因为我们无法再为科学做出贡献。人类的能动性，包括在创造性过程中的能动性，是至关重要的，必须不惜一切代价加以保护。 我不确切知道如何引导AI的发展和使用，以便我们获得新工具但不被取代。但我知道这至关重要。