vLLM + open-webui menjalankan gpt-oss-120b pada kotak kecil hijau v2 Cukup 'vllm melayani openai/gpt-oss-120b --tensor-parallel-size 4 --async-scheduling' dan Anda memiliki API OpenAI lokal yang dapat Anda percayai.
25,97K