vLLM + open-webui care rulează gpt-oss-120b pe un tinybox green v2 Doar 'vllm serve openai/gpt-oss-120b --tensor-parallel-size 4 --async-scheduling' și aveți un API OpenAI local în care puteți avea încredere.
29,63K