Messung der Denk-Effizienz in Modellierungsansätzen: Der fehlende Benchmark Wir haben die Token-Nutzung über verschiedene Modellierungsansätze hinweg gemessen: Offene Modelle geben 1,5-4x mehr Tokens aus als geschlossene Modelle bei identischen Aufgaben, jedoch mit einer enormen Varianz je nach Aufgabentyp (bis zu 10x bei einfachen Fragen). Diese versteckten Kosten negieren oft die Preisvorteile pro Token. Die Token-Effizienz sollte neben den Genauigkeitsbenchmarks ein primäres Ziel werden, insbesondere in Anbetracht von Nicht-Denk-Anwendungsfällen. Lesen Sie die ausführliche Überprüfung der Denk-Effizienz über die Landschaft offener und geschlossener Modelle in unserem neuesten Blogbeitrag in Zusammenarbeit mit unserem Forscher in Residence, Tim. Sehen Sie hier mehr von ihrer Arbeit: