感到聊天机器人疲劳吗？ 对奇点被取消感到沮丧吗？ 在寻找能给你希望的新事物吗？ 这是我一个妄想的计划，但“嘿，这听起来有点道理”，在我小型独立研究实验室中构建超级智能。 （注意：我会为了教学而牺牲准确性） 首先，背景： 我是一名33岁的家伙，过去22年一直在编程。在这段时间里，我问了很多关于计算本质的问题，并积累了一些相当……奇特……的见解。几年前，我构建了HVM，一个能够在一种名为“Haskell”的晦涩语言上在GPU上运行程序的系统——是的，就是那个让深度学习得以运作，并点燃整个AI周期的芯片。 但Haskell与AI有什么关系呢？ 嗯，这是个长故事。正如长辈们可能记得的，当时我们所称的“AI”是……不同的。近三十年前，第一次有计算机在国际象棋比赛中击败了世界冠军，引发了关于AGI和奇点的许多辩论——就像今天一样！ 这个系统名为Deep Blue，与我们今天的模型非常不同。它没有使用变换器。它根本没有使用神经网络。实际上，没有“模型”。它是纯粹的“符号AI”，意味着它只是一个普通的算法，扫描数十亿个可能的移动，速度和深度超过任何人类，凭借纯粹的蛮力击败了我们。 这引发了一波有前景的符号AI研究。进化算法、知识图谱、自动定理证明、SAT/SMT求解器、约束求解器、专家系统等等。可悲的是，随着时间的推移，这种方法遇到了瓶颈。手工构建的规则无法扩展，符号系统无法动态“学习”，泡沫破裂了。新的AI寒冬开始了。 直到几年后，一系列因素的奇妙结合改变了一切。研究人员重新审视了一个旧想法——神经网络——但这次，他们有了新的东西：GPU。这些最初为渲染视频游戏而构建的图形芯片，结果证明非常适合神经网络所需的大规模矩阵乘法。突然之间，几周的工作可以在几小时内完成。深度学习爆炸了，我们今天就站在这里，变换器正在吞噬世界。 但问题是：我们只将AI的*一个*分支移植到了GPU上——连接主义的、数值的那一部分。符号方面？它仍然停留在CPU的石器时代。 Haskell是一种特殊的语言，因为它将证明的语言（即数学家用来表达定理的习惯用语）与编程的语言（即开发者用来构建应用的语言）统一在一起。这使得它特别适合符号推理——正是Deep Blue所使用的那种计算，但现在我们可以在现代硬件上大规模并行运行它。 （更准确地说，仅仅是大规模的GPU并行性并不是HVM带来的唯一优势。事实证明，在某些情况下，它还会导致*渐近*加速。这是相信我们方法的一个关键原因：过去的符号方法不仅仅是计算能力不足。它们在算法意义上是指数级缓慢的。难怪它们没有成功。它们根本没有机会。） 我的论点很简单：现在我可以在GPU上运行Haskell，并且考虑到这种渐近加速，我有能力复兴这些旧的符号AI方法，将它们扩展几个数量级，看看会发生什么。也许，或许其中一个会给我们带来惊喜。 我们的第一个里程碑已经在进行中：我们构建了世界上最快的程序/证明合成器，我称之为SupGen。或者NeoGen。或者QuickGen？我们将在十月底左右将其作为我们“Bend”语言的更新公开发布。 然后，在今年晚些时候，我们将以此为基础开展一个新的研究项目，寻求一种能够真正从数据中学习并建立概括的纯符号架构——不是通过梯度下降和反向传播，而是通过逻辑推理和程序合成。 我们的第一次实验将非常简单（与GPT-2相似），主要的里程碑将是拥有一个100%不依赖神经网络的“下一个标记补全工具”。 如果这成功了，这可能是超越变换器和深度学习的突破性飞跃，因为这是一种全新的方法，很可能会消除今天AI所继承的许多GPT限制。不仅仅是分词器问题（比如草莓中的R），还有根本性的问题，阻止GPT有效学习和概括。 妄想？可能 值得一试？绝对 （现在猜猜有多少是AI生成的，我用了哪个模型）