naprawdę podobał mi się ten artykuł od openai na temat tego, jak ludzie korzystają z chatgpt. popyt na inferencję będzie nadal eksplodować w ciągu najbliższych 1-2 lat. jasne jest, że znacząca część tego będzie wymagała dostępu do sieci w czasie rzeczywistym. dziś opcje, jakie mają firmy AI, to: skrobanie google, skrobanie bing (który zabił swoje api) lub ponowne sortowanie zbuforowanych/skrobanych wyników wyszukiwania za pomocą sieci neuronowych (niektóre startupy to robią). żadna z tych opcji naprawdę się nie skaluje. dziś Grass jest używany przez firmy do dostarczania niesamowitych ilości danych treningowych (2-3 petabajty dziennie), z których większość jest multimodalna. gdy popyt na obliczenia w zakresie inferencji zmienia się w kierunku treningu, spodziewamy się, że ta sama infrastruktura, która jest używana do zbierania danych treningowych, będzie używana do Live Context Retrieval.