vLLM + open-webui ejecutando gpt-oss-120b en una tinybox green v2 Simplemente 'vllm serve openai/gpt-oss-120b --tensor-parallel-size 4 --async-schprogramling' y tendrá una API local de OpenAI en la que puede confiar.
25.98K