我真的很喜歡OpenAI關於人們如何使用ChatGPT的這篇論文。 推理的需求將在未來1-2年內繼續爆炸性增長。顯然，其中相當一部分將需要實時訪問網絡。 目前，AI公司可用的選項有：抓取谷歌，抓取必應（他們關閉了API），或者用神經網絡對緩存/抓取的搜索結果進行重新排序（一些初創公司正在這樣做）。這些方法都無法真正擴展。 如今，Grass被公司用來提供驚人的訓練數據量（每天2-3PB），其中大部分是多模態的。 隨著推理的計算需求翻轉訓練，我們預計用於收集訓練數據的相同基礎設施將用於實時上下文檢索。