學習使用本地 AI：既令人興奮又令人沮喪的探索旅程

學習使用本地 AI：既令人興奮、不知所措且令人沮喪

我正在展開一段至今仍猶豫不決的旅程：真正定期使用人工智能（AI）。將我最私人的數據交給雲端服務一直是我的一大障礙，但現在於本地運行強大模型以查看其能力的門檻已日益降低。這項技術是否實用到值得為一台配備大量昂貴 RAM 的電腦或手提電腦投入巨資？我將嘗試幫你找出答案。我不是 AI 專家，這對我來說將是一段旅程，但或許我可以幫你看看這段旅程是否值得一試——我會沿途記錄我的進度。

Apple 對其新款 Mac 桌面電腦的一大賣點就是它們在本地 AI 方面的表現，而一系列全新的 RTX Spark Windows 機器也即將上市，配備高達 128GB 的 RAM，旨在運行代理式 AI（Agentic AI）。本地 AI 和代理（Agents）現在非常熱門。但說實話，想到有一個只住在桌上盒子裡、僅聽命於我而非 OpenAI、Google、Microsoft 或 Anthropic 等霸主的「小跑腿」，這種感覺與信任雲端服務或訂閱聊天機器人截然不同。別誤會，我仍然不會讓它幫我寫作、編輯或製作醜陋的傳單。但現在有了私隱保障，也許我終於可以想到一些有用的瑣事來「信任」它並交由它處理。

因此，作為我對 M5 Ultra Mac Studio 持續測試的一部分，以及在其他 Mac 和 Windows 系統上的實驗，我安裝了一些本地大型語言模型（LLMs）並開始鑽研。以下是目前的進展情況。

Hermes Agent 可以配合雲端或本地模型使用。我首先在 Mac Studio 上安裝了開源的 Hermes Agent。Hermes 是一款自託管的 AI 代理桌面應用程式，適用於 macOS、Windows 和 Linux。如果你堅持使用本地 LLMs，它是完全免費的。由於這台 M5 Ultra Mac Studio 擁有 256GB 的統一記憶體，我幾乎可以運行任何我想要的模型。這就是事情迅速變得令人不知所措的地方。市面上的模型多得數不清，有些還有專門用途。通常，擁有數千億參數的模型比只有數十億參數的小型模型能做更多事情。既然運行本地模型不需要擔心支付代幣（Tokens）費用，我決定一開始就玩大的。

利用 Hermes 簡單直接的引導介面和模型選擇器，我選擇了 Qwen 3.8 Flash Next 模型——這是一個參數達 1250 億、大小約 105GB 的模型。我還計劃在 M6 Mac Mini、M5 MacBook Air、搭載 AMD Strix Halo 處理器的 Asus TUF Gaming A14，以及最終在 RTX Spark 等設備上花些時間測試更小的 Qwen 模型。（想分享你使用的本地模型和硬件嗎？你知道在哪裡留言。🫡）

很快我就讓 Hermes 和 Qwen 跑了起來，甚至透過 Telegram 機器人讓它們可以用手機控制。但接著，我遇到了使用 AI 時的老對手：文字輸入框。

「我拿這東西來做什麼？」

我的 Hermes 每日簡報，每天透過 Telegram 發送給我。我知道這很基本。首先，為了讓事情運作起來，我聽從了一些有用的 YouTube 建議，讓 Hermes 為我製作每日晨間簡報——先從簡單的排程工作（Cron job）開始，確保一切運作正常。它會掃描我的電子郵件和日曆，告訴我任何值得立即關注的事項，並提供簡短的天氣報告。這並非十分有用，顯然你不需要一台價值 12,000 美元的電腦來構建它，但這是我可以隨時間改進的東西。起初簡報一直生成失敗，後來我終於發現，當早上 7:30 任務啟動時，macOS 不能處於睡眠狀態。廢話！現在它運作得像時鐘一樣準確，但我必須想出更多資訊讓它抓取，以使結果更有幫助。

一個更有用的任務是重新整理我的 Steam 遊戲庫。我在 Steam 上有超過 400 款遊戲，最近我開始為它們分類，以便心血來潮想玩新遊戲時使用。Steam 不會為你分類遊戲，所以你必須手動逐一處理。但這正是代理式跑腿可以大顯身手的地方。我問：「你能重新整理我的 Steam 遊戲庫嗎？」Hermes 只需查看已安裝的 Steam 客戶端就能看到我大部分的遊戲。它很快就為我提供了一些分類選項。我決定讓它按類型整理遊戲，但保留我自訂的一些特殊類別（最愛、合作遊戲、派對遊戲、與妻子一起玩的遊戲等）。

你必須給予本地 AI 一些操作機器的權限，它才能為你執行動作。以我的遊戲庫為例，我必須註冊一個 Steam 網頁 API 金鑰並交給 Hermes。一旦獲得權限，它只花了幾分鐘就將所有遊戲分類完畢。而且 API 金鑰在之後很容易撤銷，因為我不再需要它。這個想法是讓它為我完成這項繁重的工作一次，然後當我購買新遊戲時，我再自行將它們歸類。總體而言它做得很好，現在我的 Steam 遊戲庫可以輕鬆瀏覽了。

我做的另一件簡單事情是數據分析。我讓 Hermes 查看財務記錄為我計算數字，還讓它為我製作了一份新筆記型電腦的規格比較試算表。這些都是小事，但這兩項任務我都不會也不可能信任任何雲端服務——我不想將敏感數據上傳到雲端，而在新筆記型電腦的情況下，那些資訊還處於保密協議（Embargo）階段。將它們保留在我的電腦上，是我決定是否使用這個工具的關鍵。

我目前正在處理的更大規模自動化是一個運行一系列筆記型電腦基準測試的腳本。我手動運行我們所有的基準測試，而照看一台筆記型電腦運行十幾項測試——還要重複三次以取平均值——是非常耗時的。我很想至少自動化其中一部分。即使是引導 Hermes 完成所有必要程序並讓它產出帶有「感覺」的 Python 腳本也是一項艱巨的任務，目前仍是一項進行中的工作。但我希望能取得一些積極進展。

Apple 在我上個月參加的一次簡報會上，展示了這組由四台 Mac Studio 連接而成的本地 AI 集群。那可是價值近 50,000 美元的算力。

我使用 Hermes 的日子尚短，我希望這只是它能為我做的有用事情的冰山一角。但同樣明顯的是，即使是這些強大的本地模型，也不是無所不能的魔法助手。事情仍不總是按預期運作——我的每日簡報已經壞了好幾次。

我將 Hermes 和本地 AI 視為一個工具，一個在電腦上運行的電腦程式。我不需要一個數位朋友。我不會說「謝謝」或「請」，也不會在改變主意時輸入「對不起」。我在命令它時保持冷酷和冷漠，就像我在作業系統中點擊滑鼠一樣。

我希望在繼續測試和學習本地 AI 的過程中保持警惕和謹慎。讓我們看看它會帶我走向何方。