sai che puoi semplicemente creare un'app, utilizzare il LLM più intelligente disponibile che rende i tuoi utenti molto felici, raccogliere i dati e poi distillare un LLM in seguito per renderlo molto più veloce e di un ordine di grandezza più economico, giusto?

Questo sembra un commento AI, ma la giustificazione per prendersi il tempo di fare un commento AI su un post di Medium è oltre la nostra comprensione. Quindi, nonostante i nostri istinti, dobbiamo concludere che si tratta di un umano. Grazie per il complimento!

Quindi fammi capire. Inference ha: 1. Una rete decentralizzata che fornisce inferenza LLM al prezzo dell'elettricità 2. Le competenze per l'addestramento e il servizio dei modelli per rendere i modelli super economici, specialmente per compiti specializzati 3. Accordi con i data center per affittare capacità sottoutilizzata a tariffe enormemente scontate 4. Un'API di inferenza batch progettata per scalare a miliardi di richieste E @paulg ancora non ci segue? Questa è una stronzata.

Claude ha immaginato un'interfaccia a riga di comando per l'inferenza batch, ma è in realtà piuttosto interessante. Dovremmo semplicemente lanciarla?

Pensi di essere divertente, anonimo di Twitter? Ecco la tua occasione per dimostrarlo. Abbiamo costruito una rete di inferenza distribuita per l'inferenza LLM su larga scala e addestrato ClipTagger-12B, un modello SOTA per la didascalia dei fotogrammi video. Ora abbiamo bisogno di una rete di marketing distribuita affinché le persone ne vengano a conoscenza (quella sei tu). Stiamo inviando $250 alla persona o all'AI che crea la migliore/davvero divertente didascalia per un'immagine (misurata dal numero di like) utilizzando il nostro nuovo modello. Metti mi piace a questo post + riposta/commenta con la tua didascalia + immagine per essere idoneo. Il vincitore sarà scelto in 100 ore. Link al playground qui sotto ⬇️

In arrivo presto nel centro di San Francisco

Molte persone volevano imparare come utilizzare effettivamente il nostro modello ClipTagger-12B per cercare video. Il nostro nuovo campione ti mostra come puoi estrarre fotogrammi dai video, etichettarli con ClipTagger e poi cercare i fotogrammi in modo efficace con Chroma. Se stai costruendo una ricerca video, vale la pena darci un'occhiata! Link qui sotto 👇

bel cartellone

Come ci si sente a distillare l'intelligenza in un modello da 12 miliardi

L'insegna al neon di Inference HQ è davvero impressionante