vLLM + open-webui, das gpt-oss-120b auf einer tinybox green v2 ausführt Einfach `vllm serve openai/gpt-oss-120b --tensor-parallel-size 4 --async-scheduling` und du hast eine lokale OpenAI API, der du vertrauen kannst.
25,97K