第三十一章:自訂 Provider — custom_providers.yaml 撰寫、OpenAI 相容 API、認證、重試策略

在前面的章節中,我們帶你逛了模型超市、也去了精品專賣店。但是,如果你擁有一間屬於自己的「地下秘密兵工廠」呢?

也許你的公司基於機密考量,自己在內網架設了一個開源模型;又或者你發現了一個超冷門但超便宜的 API 服務,但它不在 Hermes 的預設名單上。別擔心!只要這個服務支援「OpenAI 相容 API (OpenAI Compatible API)」,Hermes 就能透過 custom_providers.yaml 把它強行接管過來!🤫

🔌 什麼是「OpenAI 相容 API」?

在 AI 界,OpenAI 的 API 格式幾乎已經成為了一種「地下標準」。市面上很多開源軟體(像是 Ollama、vLLM、LM Studio)和雲端服務,為了讓開發者無痛轉換,都會刻意把自己包裝成跟 OpenAI 一模一樣的呼叫格式。

這對 Hermes 來說簡直是天大的好消息!因為這代表 Hermes 不用為每一家新公司寫新的對接程式,只要套用這個通用格式,就能輕鬆連上全世界 90% 的自架模型!

📝 破解機密檔案:custom_providers.yaml

要接上你的秘密武器,你必須去修改我們在第五章提過的設定檔大魔王之二:custom_providers.yaml

打開這個檔案,你需要填寫幾個關鍵情報: * id:給這個新供應商取個響亮的代號(例如 my_company_api)。 * base_url:這是兵工廠的秘密地址(例如 http://192.168.1.100:8000/v1)。 * api_key:通關密語。如果是自己家架的,通常隨便填個 sk-123 也能過。 * models:告訴管家裡面有哪些型號的武器可以用。


🛠️ 指令教學:串接你的秘密兵工廠

讓我們捲起袖子,實際把一個自訂的 API 串進 Hermes 裡!

介紹指令:編輯 custom_providers.yaml 並驗證連線

💡 應用練習例子

練習 1:把秘密地址寫進設定檔 首先,呼叫出設定檔(還記得指令嗎?):

hermes config edit

幽默小提示:打開設定資料夾後,找到 custom_providers.yaml 並加入你的設定。如果你還沒有真的自架模型,可以先拿 LM Studio 在本機開個 Server 當作練習對象!

練習 2:讓管家重新認識新朋友 設定存檔後,我們來驗證一下管家有沒有認得這個新供應商:

hermes config providers

仔細看清單!如果你在裡面看到了你剛剛取的代號 my_company_api,恭喜你,連線成功了一半!這感覺就像是成功駭進了神盾局的資料庫一樣爽快。

練習 3:啟動自訂模型進行對話 最後,用 --model 參數把你的秘密武器叫出來試試身手:

hermes run --model "my_company_api/your-secret-model-v1" "請問這間公司的午餐補助是多少錢?"

如果它成功回答了(而且答案沒有胡說八道),那麼恭喜你!你現在擁有了一個完全私有、受你掌控、連 OpenRouter 都買不到的專屬管家大腦!


🎉 太帥了!你已經突破了原廠的限制!

學會自訂 Provider,代表你已經具備了最高級的彈性。無論 AI 界接下來又推出了什麼神奇的新架構,只要它相容 OpenAI,你的管家就能永遠走在時代的尖端。

不過,你可能會想:「既然我連模型都可以自訂了,那我能不能連管家的『記憶系統』或是『核心工具』都換成我自己寫的 Python 程式碼?」答案是:可以,而且超級硬核!下一章《自訂 Component》,我們將帶你探索 Hermes 架構的核心秘密,教你如何置換系統底層元件!我們第三十二章見!⚙️