來自 Av 的應用

港口：简化本地 LLM 堆栈管理

Harbor 是一个命令行界面 (CLI) 工具，旨在简化本地大型语言模型 (LLM) 及相关服务的部署。它集成了各种后端，如 Ollama、llama.cpp 和 vLLM，以及前端如 Open WebUI 和 ComfyUI。用户可以通过一个命令轻松设置完整的 LLM 堆栈，允许最小配置和无缝服务连接。CLI 不仅用户友好，还允许管理各种服务，使其适合 AI 自动化领域的新手和经验丰富的用户。该软件支持多种功能，包括通过 SearXNG 进行网页搜索，通过 ComfyUI 生成图像，以及与 …