前言:為什麼選擇本地 AI 環境?
要在本地搭建 AI 環境,最快速穩定的方案是使用 Ollama 搭配 Open WebUI。Ollama 是開源的本地大型語言模型執行框架,支援多種開源模型;Open WebUI 提供友善的 Web 介面,類似 ChatGPT 的操作體驗。整個安裝過程免費且無需 GPU 也能運行小型模型,適合開發者與 AI 愛好者入門。本地部署可確保資料隱私,離線也能使用,是學習與實驗的最佳選擇。
一、環境準備與系統需求
在開始安裝前,需確認系統符合基本需求。Ollama 支援 Windows、macOS 與 Linux三大平台。硬體方面,建議至少 8GB RAM 才能流暢運行 7B 參數模型;有獨立顯示卡的電腦可獲得更佳效能,Ollama 會自動偵測並使用 GPU 加速。Windows 使用者需啟用 WSL2(Windows 子系統 Linux)或直接使用 Docker 環境。建議先更新系統至最新版本,並確認磁碟空間至少有 20GB 以上用於存放模型檔案。
二、Ollama 安裝教學
macOS 與 Linux 安裝
最簡單的安裝方式是透過終端機執行官方提供的安裝腳本:
curl -fsSL https://ollama.com/install.sh | sh
安裝完成後,輸入 ollama --version 確認版本。安裝預設會建立 ollama 服務,並在開機時自動啟動。若要手動啟動服務,可執行 ollama serve。
Windows 安裝
Windows 使用者有兩種選擇:一是透過 WSL2 安裝 Linux 版 Ollama,二是直接下載 Windows 預覽版。建議技術新手使用 WSL2 方法,可獲得更穩定的相容性。安裝 WSL2 後,在 Ubuntu 環境中執行上述安裝腳本即可。確保 WSL2 整合了 GPU 驅動(需安裝 NVIDIA CUDA 驅動或 AMD ROCm)。
三、Open WebUI 安裝與設定
Open WebUI(原名 Ollama WebUI)是功能完整的 Web 介面,安裝方式相當簡單。若已安裝 Docker,可直接執行以下指令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安裝完成後,開啟瀏覽器訪問 http://localhost:3000 即可看到登入頁面。首次使用需註冊管理員帳號,建議設定強密碼並妥善保存。Open WebUI 支援多語言介面,包含繁體中文,可在設定中切換語系。
四、模型下載與基本使用
安裝完成後,即可下載心儀的語言模型。常用的開源模型包括 Llama 3、Phi 3、Mistral 等。在終端機輸入以下指令下載模型:
ollama pull llama3
下載完成後,可透過 ollama list 查看已安裝的模型。在 Open WebUI 介面中,選擇模型即可開始對話。進階使用者可調整系統提示詞、溫度參數與回應長度,打造個人化的 AI 助理。如需管理多個模型,可在設定中建立不同的對話場景配置。
五、常見問題與效能優化
初次使用常見問題包括模型下載失敗、載入緩慢或記憶體不足。若遇到網路問題,可嘗試設定代理伺服器或使用国内鏡像源。記憶體不足時,可選擇較小的模型(如 phi3:3.8b)或關閉其他應用程式釋放資源。若要進一步優化效能,可參考 Ollama 官方文件調整 NUMA 與 CPU 執行緒設定。定期執行 ollama pull 更新模型,可獲得最新功能與安全修補。