第二十九章:模型供應商生態 — OpenRouter、Anthropic、Ollama、vLLM、Nous、Custom Providers
歡迎來到【第五部份:模型、供應商與進階設定】!前面的章節裡,我們都在教你怎麼幫管家裝備各種武器和技能。但管家到底聰不聰明,其實取決於你塞給它一顆什麼樣的「大腦」(大語言模型,LLM)。
Hermes Agent 最迷人的地方,就在於它完全不綁定特定廠商!你可以把它想像成一台跑車,引擎(模型)隨你換。今天我們就來逛逛這個百花齊放的模型供應商大觀園,看看市面上有哪些引擎可以選擇!🏎️💨
🌍 模型超市大盤點
1. 雲端全聯福利中心:OpenRouter
如果你不想去各家公司註冊一堆帳號,OpenRouter 就是你的救星!它是一個模型的超級市場,裡面包含了 OpenAI、Anthropic、Google 等各家模型。只要註冊一個 OpenRouter 帳號、拿一把 API Key,你就可以隨意切換幾百種模型。超級方便!
2. 雲端精品專賣店:Anthropic (Claude 系列) 等官方 API
如果你特別鍾愛 Claude 那種充滿人性、程式碼又寫得超好的特性,你可以直接去 Anthropic 官網註冊。官方直連的速度通常最快,而且能第一時間用到最新模型。其他如 OpenAI 官方也是一樣的道理。
3. 本地端不求人:Ollama & vLLM
擔心資料外洩?想在沒有網路的深山裡寫程式?或是單純不想付 API 費用?Ollama 和 vLLM 讓你可以把模型直接下載到自己的電腦裡跑(前提是你的電腦顯示卡夠夠力💪)。完全免費、絕對隱私!
4. 專屬客製化:Custom Providers
如果你公司內部自己訓練了一個神祕模型,或是你想串接某個冷門的 API,Hermes 也支援讓你自定義供應商(Custom Providers)。只要 API 格式相容,管家什麼大腦都能裝!
🛠️ 指令教學:幫管家換大腦
了解了有哪些大腦可以選之後,我們來練習怎麼幫管家進行「腦部移植手術」吧!
介紹指令:使用 --model 參數與設定檔切換供應商
(註:進行雲端模型練習前,請確保你已取得對應的 API Key 並設定在環境變數或 config 中。)
💡 應用練習例子
練習 1:指定使用特定供應商的模型 如果你有 OpenRouter 的 API Key,想用它來呼叫最新的 Llama 模型:
hermes chat --model "openrouter/meta-llama/llama-3-8b-instruct"幽默小提示:斜線前面的 openrouter/ 是告訴管家去哪家超市買大腦,斜線後面的就是大腦的型號。記得別跑錯超市買錯牌子啦!
練習 2:切換到本地端模型 (Ollama) 如果你的電腦裡已經安裝了 Ollama,而且下載了 phi3 模型,你可以這樣呼叫它:
hermes run --model "ollama/phi3" "請用五個字總結開源精神"這是一個完全免費、不需網路的查詢!看到結果時,你是不是有一種「這台電腦終於開始自己思考」的感動?
練習 3:查看系統支援的供應商清單 想知道你的 Hermes 目前到底設定了哪些供應商的鑰匙?
hermes config providers這會列出你目前可用的大腦供應商清單。如果清單上空空如也,趕快回去第五章複習一下怎麼設定 API Key 吧!
🎉 恭喜你,現在你可以隨心所欲地幫管家換腦袋了!
不同的任務需要不同的大腦。但市面上的模型這麼多,有的聰明但很貴,有的便宜但有點笨,我們到底該怎麼選?
下一章《模型選擇策略》,我們將教你如何根據「推理能力、Context Window、成本與速度」,精準地挑選最適合你任務的那顆引擎!我們第三十章見!🧠