Easy Circle Logo
返回新聞列表
如何在本地運行 AI 模型——以及為何你可能需要這樣做

如何在本地運行 AI 模型——以及為何你可能需要這樣做

2026年11月3日·Decrypt·3 次閱讀
小圈
小圈解讀

呢篇文教大家點樣喺自己部電腦度裝 AI,唔使再俾月費,仲可以保護私隱,唔怕對話俾人睇晒。

點解重要

對香港生意人嚟講,商業秘密好重要。喺自己電腦行 AI,就好似將夾萬擺喺自己屋企咁,唔使擔心資料上傳到雲端會外洩,仲可以慳返每個月百幾蚊嘅訂閱費。

新手貼士

如果你想試吓喺自己部 Mac 或 PC 行 AI,建議先下載「LM Studio」,因為佢好似平時用開嘅軟件咁有畫面掣可以撳,唔使打程式碼,對新手嚟講最易上手!

術語小字典

VRAM (視訊記憶體):好似顯示卡的「工作枱」,枱面愈大(GB 愈多),就可以同時處理愈複雜嘅 AI 運算。

開源權重 (Open-weight):即係間公司將 AI 嘅「大腦數據」公開,好似茶餐廳公開秘製食譜咁,等你自己都可以喺屋企照住整。

量化 (Quantization):一種將 AI 模型「壓縮」嘅技術,好似將一大包米真空包裝咁,令佢佔用少啲空間,普通電腦都裝得落。

上下文窗口 (Context Window):AI 嘅「短期記憶」,決定咗佢一次過可以睇幾多字。窗口愈大,佢就愈能記得你之前講過嘅長篇大論。

簡介

根據 Epoch AI 於 5 月 29 日的分析,自 2026 年 1 月以來,開源權重(Open-weight)模型平均落後於最強大的閉源模型約四個月。

Ollama 和 LM Studio 是免費軟件,小型模型大約需要 8GB 的 VRAM 或 Mac 統一記憶體,而 LM Studio 可以完全離線操作。

最大的開源模型,例如 Alibaba 的 2.4 萬億參數 Qwen 3.8-Max,遠超消費級硬件的負荷;在 Alibaba 自身的對比中,閉源模型在 31 項測試中贏得了 24 項。

開源權重 AI 模型現在平均僅落後於最強大的閉源模型約四個月,而且越來越多模型可以在你可能已經擁有的硬件上運行。「開源權重」意味著公司公開了權重文件——即包含模型所學一切內容的文件,因此任何人都可以下載並運行它們。兩個免費程式 Ollama 和 LM Studio 負責處理其餘工作,而 Ollama 庫中的 Gemma 4 下載大小約為 4.6GB 到 20GB 不等。

有了開源模型,你不需要每月支付 20 美元的 AI 訂閱費,也不需要將你的對話發送到別人的伺服器來獲得功能強大的聊天機器人。本指南將解釋如何直接在你的電腦上下載並運行 AI 模型、你需要什麼樣的硬件,以及如何開始使用 Ollama 和 LM Studio 等免費工具。

無論你是想省錢、保持對話私隱,還是想嘗試可以自行定制的 AI 模型,設置本地 AI 助手可能比你想像中容易。

為什麼要在自己的機器上運行 AI 模型

雲端聊天機器人會將每個提示發送到公司的伺服器,正如 Decrypt 在一份關於關注私隱的 AI 工具評論中所報導,法院曾命令 OpenAI 保留 ChatGPT 日誌,包括已刪除的日誌。本地模型則將對話保留在你的電腦上,未經你的許可,無人可以使用。

LM Studio 的文檔指出,該應用程式「可以完全離線操作,只需確保先獲取一些模型文件」,並且聊天中附加的文檔也可以完全離線使用。

付費聊天機器人的訂閱費用約為每月 20 美元,而這裡的軟件是免費的。成本轉移到了你可能已經擁有的硬件上。

授權條款決定了你可以如何處理下載的權重。DeepSeek 的 R1 系列採用 MIT 授權,其模型卡顯示該模型「支持商業用途,允許任何修改和衍生作品」,而 Google 的 Gemma 4 和 OpenAI 的 gpt-oss 則採用 Apache 2.0 授權發佈。

在 Apache 或 MIT 等開源授權下運行模型,意味著你可以自由使用、修改以及對模型進行任何操作。這意味著用戶能夠獲得更符合其需求的特定模型改進版或修改版。也許你需要一個擅長醫學的模型,所以你不在乎它的編程能力如何。這種程度的個性化僅在定制模型中提供。

你的硬件實際能運行什麼

模型的大小以參數(訓練期間調整的內部數字)來衡量,下載大小隨之增加。模型必須裝入顯示卡的視訊記憶體(稱為 VRAM)或 Mac 的統一記憶體(處理器和圖形晶片共享)中。

作為一般規則,你至少需要 8GB 的 VRAM,經過壓縮變小的模型將能夠裝入。然而,專業用戶應該購買具有 24GB 或更多 VRAM 的電競 GPU,可以通過堆疊 GPU,或者購買特定的 AI 機架或具有統一記憶體的機器,如 Mac Mini 或 Nvidia DGX Spark。

量化(Quantization)通過以較少的位元存儲每個權重來縮小模型。Hugging Face 的文檔將其描述為使用「8 位元整數 (int8) 等低精度數據類型,而不是通常的 32 位元浮點數 (float32)」來表示權重和激活值,這以犧牲一些準確性為代價來減少記憶體使用。

LM Studio 的系統要求建議在運行 macOS 14 或更新版本的 Apple Silicon Mac 上配備 16GB 或更多 RAM,儘管 8GB 的 Mac 可以處理較小的模型。在 Windows 上,它建議至少 16GB RAM 和 4GB 獨立 VRAM,並支持 AVX2 處理器,不支持基於 Intel 的 Mac。

Ollama 的庫列出 Gemma 4 26B 為 16 至 19GB,31B 版本為 19 至 20GB。根據 OpenAI 的說法,OpenAI 的 gpt-oss-20b 僅需 16GB 記憶體,而 gpt-oss-120b 則在 80GB 內運行。

如何設置 Ollama 和 LM Studio

LM Studio 可能是首選,因為它提供了一個精美且完善的圖形用戶界面。另一方面,Ollama 則針對開發者和更喜歡在終端機(CLI)內工作的資深用戶。

對於 LM Studio,從 lmstudio.ai 下載適用於你操作系統的安裝程式,在應用程式內搜索模型,下載其權重並開啟聊天。該應用程式會搜索 Hugging Face,這是發佈開源模型的公共樞紐。

對於 Ollama,macOS 和 Linux 用戶使用命令 curl -fsSL https://ollama.com/install.sh | sh 安裝,Windows 用戶在 PowerShell 中運行 irm https://ollama.com/install.ps1 | iex,兩者均列在 Ollama 的下載頁面上。

根據 Ollama 的快速入門,輸入 ollama pull gemma4:e2b 下載模型,ollama run gemma4:e2b 開啟聊天,輸入 /bye 退出。該程式還會在 http://localhost:11434 開啟本地 API,以便你機器上的其他應用程式可以使用該模型。

以「:cloud」結尾的模型名稱(例如 gemma4:cloud)是在 Ollama 雲端運行的雲端模型,無需下載,如果為了私隱,請跳過這些模型。話雖如此,對於那些需要更強大模型的人來說,這是一個不錯的第二選擇:通過 API 處理的調用和提示不會存儲在供應商的伺服器中,也不會用於訓練模型。

Google 為 Gemma 4 提供的多標記預測(Multi-Token Prediction)草案模型可在 Ollama 上通過 Apache 2.0 獲得,利用推測解碼(Speculative Decoding)將生成速度提高多達 3 倍,其中小型模型會預先提出幾個標記,大型模型則一起檢查它們。

Google 表示,「如果目標模型同意草案,它會在單次前向傳遞中接受整個序列」,並且目標模型會在同一次傳遞中添加一個額外的標記。

本地模型通過 MCP 伺服器(模型上下文協議 Model Context Protocol 的縮寫)獲得網頁搜索和文件訪問權限,根據 Decrypt 指南,LM Studio 在 0.3.17 版本中增加了支持。

本地模型在哪些方面仍遜於雲端

四個月的平均差距描述的是最強大的開源模型,而最大的模型遠超消費級硬件。Alibaba 的 Qwen3.8-Max 共有 2.4 萬億參數,任何時候都有 950 億個處於活動狀態,相比之下,gpt-oss-120b 僅需 80GB 記憶體即可運行。

當模型從 VRAM 溢出到系統 RAM 時,反應速度可能會慢得多,而且更大的上下文窗口需要更多記憶體。Gemma 4 的小型模型提供 128K 標記的上下文窗口(模型一次可以考慮的文本量),較大的模型則為 256K。

雲端服務不需要任何這類規劃,而且背後的尖端模型在最困難的測試中仍然領先。

如果你想私密地使用 AI,我們自己的評論建議「日常起草必須留在機器上的內容時,使用帶有自託管本地模型的 xPrivo」,而「當你需要網頁檢索並接受 API 調用權衡時,使用 Kagi」。

資料來源

本文由 AI 自動翻譯整理,內容以原文為準。

人工智能開源模型私隱保護OllamaLM Studio硬件配置