Ich habe Jahre damit verbracht, in dieser genauen Domäne an Strategien zu arbeiten.
Es stellt sich heraus, dass die Fragen des HN-Kommentators genau die richtigen sind, die man stellen sollte.
Die Antwort auf "Warum machen Banken das nicht" erklärt auch, warum es so verdammt profitabel ist – es ist ein zweiseitiger Markt, der hier diskutiert wird:
Bei Thinking Machines umfasst unsere Arbeit die Zusammenarbeit mit der breiteren Forschungsgemeinschaft. Heute freuen wir uns, bekannt zu geben, dass wir ein vLLM-Team bei @thinkymachines aufbauen, um Open-Source vLLM voranzutreiben und Grenzmodelle zu bedienen. Wenn Sie interessiert sind, senden Sie mir bitte eine DM oder @barret_zoph!
Hier sind einige Beispielrollen / Projekte:
* Verteilte Inferenzingenieur zur Unterstützung von großangelegten Modellen auf Blackwell GPUs
* PyTorch- und Modelloptimierungsingenieur zur Unterstützung und Optimierung der neuesten OSS-Modelle
* MLSys-Generalist für verschiedene Aspekte von vLLM