Gjør en hvilken som helst autoregressiv LLM om til en Diffusion LM. dLLM er et Python-bibliotek som samler trening og evaluering av diffusjonsspråkmodeller. Du kan også bruke den til å gjøre HVILKEN som helst autoregressiv LM om til en diffusjons-LM med minimal beregning. 100 % åpen kildekode.

Vektorindeks vs vektordatabase, tydelig forklart! De fleste bruker disse begrepene om hverandre. Det er en feil. Tenk på det slik: En vektorindeks er en algoritme. Den tar vektorene dine, organiserer dem i en søkbar struktur (som HNSW), og finner lignende elementer raskt. FAISS er et godt eksempel. Men en algoritme alene håndterer ikke lagring, filtrering eller skalering. Den bare søker. En vektordatabase pakker inn indeksen med alt annet du trenger – distribuert lagring, metadatafiltrering, persistens og samtidig tilgang. Det gir deg også fleksibilitet i hvordan du indekserer. HNSW, IVF, DiskANN – ulike teknikker for ulike avveininger mellom hastighet, nøyaktighet og minne. Milvus er et godt eksempel. Så, én er en komponent. Den andre er et system. Denne distinksjonen føles akademisk helt til du når skalaen. Da blir det dyrt. Et selskap for autonom kjøring lærte dette på den harde måten. De bygde et søkesystem for kjøreopptak – i stor skala. Hver tur genererer rammer; Hver ramme blir en vektorinnsetting. Ingeniører måtte søke i scenarier som «nattlige urbane kryss med fotgjengere» på tvers av måneder med data. FAISS var det naturlige utgangspunktet. Rask, lett, enkel å sette opp. Men etter hvert som dataene vokste, ble hver dags embeddings en egen indeksfil. Måneder senere: hundretusener av isolerte filer. Å søke over flere dager betydde å få tilgang til mange filer samtidig. Spørringer som «frontkamera i lett regn på urbane veier» krevde tilpassede databaser, spørringsplanleggere og filtreringsmekanismer bygget rundt FAISS. Milliarder av vektorer. Ingen klar vei videre. Det er nettopp her vektordatabaser kommer inn – og hvorfor selskapet migrerte til Milvus. Forskjellen var umiddelbar: ↳ Enkeltspørringer kombinerer vektorlikhet med metadatafiltre ↳ Data organisert i samlinger og partisjoner, ikke spredte filer ↳ Titalls milliarder vektorer, over ett år i produksjon, null større hendelser ↳ 30 % reduksjon i infrastrukturkostnader ↳ 10x bevist skalerbarhetskapasitet Dette er ikke et unikt problem. De fleste virksomheter møter samme vegg – starter med en lettvektsindeks, og så forvirrer de når de trenger filtrering, persistens eller skalering. Vektordatabaser eksisterer nettopp for denne overgangen. Det som får Milvus til å skille seg ut, er hvordan de håndterer skala og datamangfold. Milliarder av vektorer, horisontal skalering og spesialiserte indekser for ulike datatyper – geografiske data som breddegrad og lengdegrad – får sin egen optimaliserte indeks, ikke en generisk one-size-fits-all-tilnærming. Så hvis du bygger et skalerbart søke- og hentesystem for agentene dine, LLM-er eller andre, anbefaler jeg å sjekke ut @milvusio. Det er 100 % åpen kildekode (41 000+ stjerner), og du kan hoste hele systemet selv eller bruke deres skytilbud direkte. Lenke til repoet i neste tweet!

Et team hos DeepMind skrev dette stykket om hvordan du må tenke på GPUer. Viktig for AI-ingeniører og forskere: