vLLM + open-webui chạy gpt-oss-120b trên một tinybox green v2 Chỉ cần `vllm serve openai/gpt-oss-120b --tensor-parallel-size 4 --async-scheduling` và bạn đã có một API OpenAI cục bộ mà bạn có thể tin tưởng.
25,98K