投資的未來是三個人管理數十億美元,配備一排 Mac Studio 和 NVDA DGX Spark。 我們使用的設置:本地託管的主代理,搭配本地模型(Mistral L2),以及一堆在本地 Docker 中運行的守護進程,與雲端 LLM 進行通訊,並使用專用的技能包。主代理負責任務分解、協調、委派、合成和最終推薦。 一些(非詳盡)操作安全提示:在委派之前,始終在主代理上運行清理,因為其本地 LLM 通過定義的架構解析守護進程的輸出,以避免提示注入。確保守護進程之間的網絡隔離,並且僅在容器啟動時作為變數發送憑證/API 密鑰,沒有代理登錄會與您的登錄混合。其他典型的 DevOps 衛生工作,因為主代理是您的主要 DevOps……列表還在繼續。