在 AI 討論中,似乎存在著一種永恆的舞蹈,介於那些非常重視過程的人和專注於結果的人之間。在「這是推理嗎?」的辯論中,這一點似乎相當明顯。我認為兩者在不同的方面都是對的:當然,模型在某種意義上是推理的,從功能上來看,我並不在乎導致 CoT 和輸出的機制是否與生物大腦的運作方式相似。但同時,對於所使用的推理類型、某些選擇的邏輯鏈的理由,以及這些推理在分佈外情況下的普遍性程度,仍然有重要的考量。「過程派」並不總是盲目的反對者,而「功能等價」的人也並非根本錯誤。 不過,過程失敗(例如,草莓中的 R)過去更容易被捕捉到,許多「意識形態懷疑者」依賴這些失敗來提出各種不支持的主張,這使得「敘事活動家」完全忽視過程問題變得誘人。顯然,模型正在以驚人的速度改進,這是好事。但在產生結果的過程中仍然存在失敗或空白;在編碼、數學、形式邏輯或驗證容易的領域,這不是問題,但在我們重視過程多樣性的模糊領域中,這就成為一個問題,因為我們不知道「正確的方式」,在某種程度上甚至不存在單一的方式。對於人類來說,隨著時間的推移,文化和科學的演變精煉了啟發式和機制;我認為保持模型的多樣性和認知多樣性是重要的。 如果你僅僅在結果上進行強化優化,你可能會輕易地收斂到推理單一文化,這在分佈內表現良好,但在多樣化推理方法能夠產生有用信號的情況下卻失敗。因此,我非常支持「讓千朵花盛開」的規範對齊方法,並堅持認為,應該有更廣泛的人群和團體能夠自定義和對齊模型,而不僅僅是那些恰好在實驗室中有能力這樣做的人。 當然,許多人類的認知多樣性也可能是噪音,例如動機推理、系統性偏見和不追求真理的文化路徑依賴,因此你不僅僅是為了多樣性而追求多樣性。你需要能夠真正壓力測試推理的驗證機制:例如,對抗性合作的使用不足。你需要旨在促進尋求真理的機構,這些機構的建立確實很困難,以及對思想市場的強大文化和法律保護,這些保護正面臨越來越大的壓力。你還需要更好的認識基礎設施:我們可以做大量的工作來改善科學的進行方式。