繁中
English繁中

Olama serve是Olama的貨運代理

作者: /

用於將API密鑰身份驗證添加到原生Olama服務。該項目解決了Olama官方不提供API密鑰驗證的問題，使您能夠更安全地部署Olama服務並防止未經授權的訪問。

項目概況

Olama官方服務默認不提供API密鑰認證機制，這意味著任何知道API端點的人都可以訪問您的Olama服務，存在安全風險。(Lyman Zhao lymanzhao - GitHub)

該項目通過FastAPI實現了簡單的轉發伺服器，所有請求都需要有效的API密鑰才能訪問Ollama服務，從而增強了安全性。

🔧核心功能

  1. API密鑰認證所有請求必須攜帶有效的API密鑰。
  2. 多用戶支持：支持多個API密鑰，每個密鑰與特定用戶關聯，可以輕鬆區分不同用戶的訪問和使用情況。
  3. 會話管理：使用基於IP的信任系統來減少重複身份驗證的需要。
  4. 客戶端兼容性：與LangChain和其他客戶兼容。
  5. 測井：詳細記錄所有請求和響應，以便輕鬆監控和故障排除。
  6. 流媒體響應支持：完全支持Ollama的流媒體響應功能。
  7. 健康檢查：提供健康檢查端點來監控代理服務和後台Olama服務的狀態。(Lyman Zhao lymanzhao - GitHub, lib-ai-app-examples-utils-fwk.md uptonking/note4yaoo - GitHub)

🚀安裝和配置

環境要求：

  • Python 3.8+
  • Olama服務已安裝並運行

安裝依賴項：

pip安裝fastapi uvicorn httpx

輪廓：

創建 config.py 文件，並設置API密鑰和Ollama API地址。例如：

#設置API密鑰
VAR_API_KEYS = [「your_api_key1」，「your_api_key2」]

#設置Olama API地址
OLLAMA_API_URL =「http：//localhost：11434」

運行服務：

uvicorn ollama_serve：app --主0.0.0.0--port 8000

啟動後，您可以通過帶有API密鑰的請求訪問代理服務，API密鑰將請求轉發到本地Ollama服務並返迴響應。(lib-ai-app-examples-utils-fwk.md uptonking/note4yaoo - GitHub)

項目地址

您可以在GitHub上訪問該項目的完整代碼和文檔：

👉 萊曼趙/奧拉瑪發球

Github：https://github.com/lymanzhao/Ollama-serve

輸油管：

返回頂端