あなたの心に残る会話はほとんどありませんが、バンガロールの@JonathanRoss321との会話(Lightspeed @MohapatraHemantに感謝します)もその1つでした。重要なポイント:1. 推論の高速化は速度だけではありません。時間に制約がある場合、出力品質が大幅に向上します (より多くのトークンが処理されます) 2.企業にとって、本当の役割を果たしているのは経済性であり、特定のタスクでコストが低下するか収益が増加するまで、より高速な推論に投資し続けます。