Mọi người đều cho rằng trí nhớ của ChatGPT là một hệ thống RAG tinh vi với cơ sở dữ liệu vector và tìm kiếm ngữ nghĩa. Manthan đã phân tích ngược nó. Kiến trúc thực tế gần như đơn giản đến mức gây thất vọng: siêu dữ liệu phiên hết hạn, các sự thật rõ ràng được lưu trữ dưới dạng văn bản, tóm tắt trò chuyện nhẹ và một cửa sổ trượt. Không có nhúng. Không tìm kiếm tương đồng. Không truy xuất quy mô lớn. Điều thú vị? Điều này giải thích tại sao nó cảm thấy nhanh như vậy. Các hệ thống RAG truyền thống nhúng mỗi tin nhắn, thực hiện tìm kiếm tương đồng trên mỗi truy vấn, kéo toàn bộ ngữ cảnh. ChatGPT chỉ tiêm các tóm tắt đã được tính toán trước trực tiếp. Họ đang đánh đổi ngữ cảnh lịch sử chi tiết để lấy độ trễ. Đây là bài học tương tự mà liên tục xuất hiện trong cơ sở hạ tầng AI: khi bạn kiểm soát toàn bộ ngăn xếp, sự đơn giản được chọn lọc thường vượt trội hơn sự phức tạp tinh vi. OpenAI không cần phải xây dựng một hệ thống truy xuất tổng quát. Họ chỉ cần một cái hoạt động cho ChatGPT. Kiến trúc bốn lớp (siêu dữ liệu phiên → sự thật được lưu trữ → tóm tắt cuộc trò chuyện → cửa sổ trượt) về cơ bản là một hệ thống bộ nhớ được chế tạo thủ công. Mỗi lớp có độ bền và mục đích khác nhau. Siêu dữ liệu phiên thích ứng theo thời gian thực. Các sự thật tồn tại mãi mãi. Các tóm tắt cung cấp sự liên tục. Cửa sổ duy trì tính nhất quán. Hệ thống bộ nhớ của Anthropic sử dụng một mẫu tương tự. Các mô hình cảm thấy cá nhân nhất không phải là những mô hình có khả năng truy xuất tinh vi nhất. Chúng là những mô hình lưu trữ những điều đúng đắn và tiêm chúng vào đúng thời điểm.