Ollama

安裝Ollama

到Ollama官網下載並安裝
https://ollama.com/

更改模型下載路徑

預設模型會保存在以下目錄

• macOS: ~/.ollama/models
• Linux: /usr/share/ollama/.ollama/models
• Windows: C:\Users%username%.ollama\models

macOS

如果您使用的是 Bash shell（macOS Catalina 之前的預設）：

nano ~/.bash_profile

    
  

如果您使用的是 Zsh shell（macOS Catalina 及之後的預設）：

nano ~/.zshrc

    
  

在檔案末尾添加以下行：

export OLLAMA_MODELS="/path/to/your/models"

    
  

編輯完成後：
按 Ctrl + O 保存文件
按 Enter 確認
按 Ctrl + X 退出 nano 編輯器
執行以下命令使變更立即生效：

source ~/.zshrc   # 如果使用 Zsh
# 或
source ~/.bash_profile   # 如果使用 Bash

    
  

Linux

如果您使用 Bash shell（大多數 Linux 的預設）：

nano ~/.bashrc

    
  

或者也可以編輯：

nano ~/.bash_profile

    
  

在檔案末尾添加以下行：

export OLLAMA_MODELS="/path/to/your/models"

    
  

編輯完成後：

按 Ctrl + O 保存文件
按 Enter 確認
按 Ctrl + X 退出 nano 編輯器
執行以下命令使變更立即生效：

source ~/.bashrc
# 或
source ~/.bash_profile

    
  

Windows

按下 Win + R，輸入 sysdm.cpl，然後按 Enter 鍵。
前往進階選項卡，點擊環境變數。
在使用者變數下，點擊新增並輸入：

變數名稱：OLLAMA_MODELS
變數值：C:\path\to\your\models

點擊確定保存變更。

注意：請將 /path/to/your/models 替換為您實際想要存儲模型的路徑。

Ollama常用指令

指令	描述	使用範例
ollama list	列出所有已下載的模型	ollama list
ollama run	運行指定模型	ollama run llama3
ollama pull	從模型倉庫下載模型	ollama pull llama3
ollama rm	刪除指定模型	ollama rm llama3
ollama serve	啟動 Ollama 服務	ollama serve
ollama ps	列出正在運行的模型	ollama ps
ollama stop	停止正在運行的模型	ollama stop llama3
ollama show	顯示模型詳細信息	ollama show llama3
ollama cp	複製模型	ollama cp llama3 my-llama3
ollama create	創建自定義模型	ollama create my-model -f ./Modelfile
ollama push	將模型推送到倉庫	ollama push my-model:latest username/repo
ollama help	獲取幫助信息	ollama help 或 ollama --help

下載一個模型

以llama3.2-vision為例，到以下連結可以看到不同大小的模型，依自己需求與硬體設備來運行。
https://ollama.com/library/gemma3

下載好後即可在Terminal對話

Open WebUI

Open WebUI 是一款功能豐富、可擴展的 自託管 AI 平台，專為離線運行設計，支援 Ollama 及 OpenAI 相容 API，內建 RAG（檢索增強生成）推理引擎，適合 AI 部署。

部署也非常簡單，只要在電腦上安裝Docker並用以下指令執行：
如果您的電腦上有 Ollama，請使用下列命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

    
  

若要連接到另一台伺服器上的 Ollama，請將 OLLAMA_BASE_URL 變更為該伺服器的 URL：

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

    
  

到瀏覽器開啟
http://localhost:3000
就可以看到對話介面了喔