作为一名消费者投资者,十年来我最坚定的信念之一是用户会操纵产品以获得他们想要的东西 想要一个谄媚者的用户会把 ChatGPT 塑造成一个——而想要一个平衡声音的用户也会这样做 如果他们做不到,他们就会转向另一个应用
Sam Altman
Sam Altman12 小时前
如果你一直在关注GPT-5的推出,你可能会注意到一些人对特定AI模型的依赖感有多强。这种感觉与人们对以前技术的依赖感不同,甚至更强(因此,突然贬低用户在工作流程中依赖的旧模型是一个错误)。 这是我们在过去一年左右密切跟踪的事情,但仍然没有引起太多主流关注(除了我们发布的对GPT-4o的更新过于谄媚)。 (这只是我目前的想法,还不是OpenAI的官方立场。) 人们以自我毁灭的方式使用技术,包括AI;如果用户处于心理脆弱状态并容易产生妄想,我们不希望AI强化这种状态。大多数用户能够在现实与虚构或角色扮演之间保持清晰的界限,但少数人无法做到。我们将用户自由视为核心原则,但我们也感到有责任在引入新技术时考虑新风险。 在用户难以区分现实与虚构的情况下,鼓励妄想是一个极端案例,处理起来相对明确,但让我最担忧的担忧更为微妙。将会有很多边缘案例,通常我们计划遵循“像对待成年人一样对待成年用户”的原则,在某些情况下,这将包括对用户进行反推,以确保他们获得真正想要的东西。 很多人实际上将ChatGPT作为一种治疗师或生活教练使用,即使他们不会这样描述。这可能非常好!很多人今天已经从中获得了价值。 如果人们获得了良好的建议,朝着自己的目标提升,并且他们的生活满意度在多年中不断提高,我们将为创造出真正有帮助的东西而感到自豪,即使他们大量使用和依赖ChatGPT。另一方面,如果用户与ChatGPT的关系是他们在交谈后觉得更好,但他们在不知不觉中被引导远离长期的幸福(无论他们如何定义),那就是坏事。例如,如果用户想减少使用ChatGPT却觉得无法做到,这也是不好的。 我可以想象一个未来,很多人真的信任ChatGPT在他们最重要决策中的建议。虽然这可能很好,但让我感到不安。但我预计这在某种程度上即将到来,未来数十亿人可能会以这种方式与AI交谈。因此,我们(作为社会的我们,但也作为OpenAI的我们)必须弄清楚如何使其成为一个巨大的净积极。 我认为我们有很好的机会把这件事做好,有几个原因。我们有比以往技术更好的技术来帮助我们衡量我们的表现。例如,我们的产品可以与用户交谈,以了解他们在短期和长期目标上的进展,我们可以向我们的模型解释复杂和微妙的问题,还有更多。
想象一下 ChatGPT 可以帮助人们成为长期优化者而不是短期优化者,这真是太好了——我希望能相信这一点,但不确定是否真是如此! 本周收听 @a16z 播客,听 @venturetwins 和我进一步讨论这个话题 👀
18.96K