投资的未来是三个人管理数十亿美元,配备一排Mac Studio和NVDA DGX Spark。 我们使用的设置:本地托管的主代理与本地模型(Mistral L2),以及一堆在本地Docker中运行的守护进程与云LLM进行通信,使用专用技能包。主代理负责任务分解、编排、委派、合成和最终推荐。 一些(非详尽)操作安全提示:在委派之前,始终在主代理上运行清理,其本地LLM通过定义的模式解析守护进程的输出,以避免提示注入。确保守护进程之间的网络隔离,并且仅在容器启动时作为变量发送凭证/API密钥,任何代理登录都不会与您的登录混合。其他典型的DevOps卫生工作,因为主代理是您的主要DevOps……列表还在继续。