vLLM + open-webui běžící gpt-oss-120b na tinybox green v2 Stačí 'vllm serve openai/gpt-oss-120b --tensor-parallel-size 4 --async-scheduling' a máte místní OpenAI API, kterému můžete důvěřovat.
29,64K