vLLM + open-webUI, joka suorittaa gpt-oss-120b:tä tinybox green v2:ssa Vain 'vllm serve openai/gpt-oss-120b --tensor-parallel-size 4 --async-scheduling' ja sinulla on paikallinen OpenAI API, johon voit luottaa.
29,63K