DGX Spark 之 Open WebUI 配合 vLLM 或 TRT LLM

# ollama 連接 vllm 或 trt_llm

# 參考 DGX Spark 使用 vLLM server 和 DGX Spark 使用 TRT LLM

$ docker run -d --rm \

  --name open-webui-vllm \

  -p 8501:8080 \

  -v open-webui:/app/backend/data \

  -e OPENAI_API_BASE_URL=http://192.168.0.108:8000/v1 \

  -e OPENAI_API_KEY=token-abc123 \

  ghcr.io/open-webui/open-webui:main

其中 8080 為固定，不需改變

開啟 Open WebUI（http://localhost:8501）

登入後點選左下 使用者 → Admin Panel → Settings → Connections → OpenAI

你會看到已自動配置的 OpenAI 連線（指向 vLLM）

上述命令只可使用單一 vLLM 模型

改用下述命令，由網頁手動輸入多組 vLLM 模型

$ docker run -d --rm --gpus=all \

  -p 8501:8080 \

  -v open-webui:/app/backend/data \

  -v open-webui-ollama:/root/.ollama \

  --name open-webui ghcr.io/open-webui/open-webui:ollama

若啟動失敗，應該是 open-webui volume 不一致，使用下列命令

$ docker volume rm open-webui

網頁左下使用者名稱/Admin Panel/Settings/Connections/ +

URL: http://192.168.0.108:8000/v1

按 Save