隨著人工智慧的普及，許多商用 AI 模型無論使用者是否付費，都會收集並重新利用使用者輸入的資料進行訓練。若你希望擺脫此類資料收集，將 AI 模型本地化則能讓你完全掌控其運作。

在避免產生"幻覺"和不準確資訊的前提下，於自身系統上運行自訂的聊天機器人，意味著無需訂閱服務、無需雲端相依，也不受企業監控。這樣的 AI 完全在你的個人電腦上運行，從你的輸入中學習，並適應你的需求。

DeepSeek 開源模型——DeepSeek-V3 和 DeepSeek-R1，實現了這種可能。將它們本地化運行，你即可自行決定 AI 的學習方式，同時保護個人資料隱私。

在經過廣泛測試後，我們找到了三種非常有效的設定組合，讓這一切成為可能。以下為你準備的詳細介紹，教導如何讓它們為你工作。

💡 DeepSeek R1 在編碼性能上表現出色，且對硬體需求較低。

你能選擇的 DeepSeek 模型有哪些？

自訂的 DeepSeek 模型是基於強大的 Transformer 架構制作的。DeepSeek 模型本身已經在生成類人文本方面表現卓越，但經過自訂後，它可以成為專注於特定領域的專家，無論是客戶支持、教育工具或專業研究。

更進一步，DeepSeek 的精簡模型擁有各種參數大小 (如 1.5B、7B、8B、14B、32B 和 70B)，可在大幅降低硬體需求的同時保持強大的推理能力。

這意味著什麼呢？

這些較小的模型（尤其是8B及以下）可以流暢地在標準電腦上運行，無需昂貴的雲端運算或專用硬體——你可以直接於個人電腦上發布與實驗這些強大的 AI 工具。

如何選擇合適的自訂設置？

既不說哪一條道路絕對優於另一條路——兩者針對不同需求。選擇前可以詢問自己以下問題：

  1. 你是否需要處理不應在第三方伺服器上處理的敏感資訊？
  2. 你是否擁有強大的硬體設備？
  3. 你是否需要在無網路的情況下使用助理？
  4. 避免訂閱費是否很重要？
  5. 多個團隊成員是否需要共用同一位助理訪問權？

我們將根據以下要點探討每種設置：

  • 每種模型的最佳使用案例
  • 發布範圍
  • 軟硬體需求
  • 優勢

無需程式編碼的方法：使用 CodeGPT 快速架設自訂 DeepSeek R1 模型

CodeGPT 提供了一種無需程式編碼且依賴雲端運行 DeepSeek R1 的解決方案，非常適合需要快速設置和共用訪問的團隊和非技術使用者。與 GitHub Copilot 不同，CodeGPT 允許你在本地利用您的 LLM，如 DeepSeek R1，於熱門 IDE 中進行提示、代碼補全、單元測試等操作。

它也是一個網路平台，具有 AI 代理，可用於廣泛的團隊任務。只需創建一個免費帳號即可開始使用。

計算需求：

  • 記憶體：1GB以上（較大模型需更多）
  • 硬碟空間：20MB以上（本地模型需額外空間）
  • CPU：Intel Core i5以上（不支持較舊的 ARM）
  • macOS：所有版本，Sonoma 除外
  • Linux：2024年發布起支持
  • Windows：Windows 11 或更新版本
  • IDE：VS Code 1.96.0+
  • 無 VLAN/VPN，除非被授權
  • 需要網路連接以使用 CodeGPT

實施過程：

要在 CodeGPT 上運行 DeepSeek R1，可按照以下步驟：

  • 步驟 1： 在 codegpt.co 註冊或登錄，選擇 Google 或 GitHub，建立一個新的 AI 代理並選擇 DeepSeek R1 作為模型。
  • 步驟 2： 上傳文件或 GitHub 庫至“代理知識”部分，作為您的私人知識庫。
  • 步驟 3： 在“指示”標籤中，設置系統提示以限制回應至上傳資料，並可選擇性新增準確性和行為的規則。
  • 步驟 4： 測試代理的回應以確保準確性，然後發布分享，通過公共鏈接或在組織內共享。
  • 步驟 5： 在“代理歷史”面板中定期檢視性能，使用指標優化精度和效率。

注意：CodeGPT 利用生成式AI的功能，可能不會一直提供正確資訊，因此需重新檢驗其結果是否正確。

為何使用 CodeGPT 運行自訂 DeepSeek R1 模型？

  • 無需技術知識
  • 易於管理文件
  • 內建分析與監控
  • 可擴散到多個使用者

使用程式碼的方法：在 LM Studio 和 Ollama 上運行自訂 DeepSeek R1 模型

方法 1：在 LM Studio 上運行自訂 DeepSeek R1

對於完全的資料主權和脫機的 DeepSeek R1 運行，LM Studio 提供了一個強大的自我發布解決方案，儘管這需要一定的技術熟練度。LM Studio 能簡化模型的發現、下載和本地執行，提供一個兼容的 API 以實現無縫整合。它支持功能調用以進行高級提示交互，並允許通過“高級配置”進行細緻的模型調整。

即便沒有高端硬體，你也能解鎖 DeepSeek R1 的核心功能。特別值得注意的是，DeepSeek R1 的輸出包含描述性的“思考”階段，提供對其推理過程的深入了解，您可以選擇顯示或隱藏。

計算需求：

  • 至少 16GB 記憶體（更多更好）
  • 硬碟空間：20GB+
  • CPU：需要支持 AVX2 訓示集
  • macOS：M1/M2/M3，Windows：x86 或 ARM，Linux：x86
  • 無特定 IDE 要求
  • 建議 GPU：如 NVIDIA RTX 3070，以獲得最佳性能

實施過程：

  • 步驟 1： 從官方網站下載 LM Studio，然後運行安裝程式，按照屏幕上的提示完成安裝。
  • 步驟 2： 打開 LM Studio，熟悉側邊欄標籤：“聊天”、“開發者”、“我的模型”和“探索”。
  • 步驟 3： 進入“探索"標籤（放大鏡圖示）。搜索“DeepSeek R1 Distill”模型，如 Qwen-7B 或 Llama 8B。
  • 步驟 4： 根據您的硬件選擇適當的量化版本。例如，Qwen-7B 是一個不錯的開始，確保勾選 "GGUF" 和 "MLX" 框以確保兼容性。
  • 步驟 5： 點擊綠色“下載”按鈕並等待完成。
  • 步驟 6： 去“聊天”標籤，點擊“選擇要加載的模型”，選擇下載的 DeepSeek R1 模型，開始通過鍵入提示與之交互。

注意：適合有限硬件，建議從較小模型開始。還要使用 LM Studio 0.3.7 建造版 2，以確保兼容性，並利用 Hugging Face 模型卡進行詳細的技術規範說明。

為何使用 LM Studio 運行 DeepSeek R1？

  • 完全的資料隱私
  • 易於使用
  • 即使在飛機上也可以離線工作
  • 無需訂閱費用
  • 可在不同模型間切換

方法 2：在 Ollama 上運行自訂 DeepSeek R1

在本地運行 LLMs 時，Ollama 通常是受歡迎的選擇，特別適合熟悉命令行或需要程式化控制的使用者。它支持多種 AI 模型，包括 DeepSeek R1。

這些模型有各種大小（1.5b 到 70b）、量化格式（q4_K_M、q8_0）和精簡版本（qwen-distill、llama-distill），以平衡性能和資源使用。此外，Ollama 是跨平台運行的，無論是 macOS、Windows 或 Linux，只需少量設置即可順利運行。

計算需求：

  • 記憶體：至少 8GB（較大模型需要更多）
  • 硬碟空間：500GB+，但可能因選擇的模型變體而異。
  • CPU：Intel Core i5 或更高
  • 軟體：
  • 作業系統：macOS、Linux 和 Windows。
  • IDE：VSCode 版本 1.96.0 或更高
  • Node.js：版本 20.0.0 或更高

實施過程：

步驟 1：安裝 Ollama

在運行 DeepSeek R1 之前，您需要在系統上安裝 Ollama。

  • 對於 macOS（使用 Homebrew），鍵入以下命令安裝 Ollama： 
    brew install ollama.
  • 對於 Windows 和 Linux：請訪問 Ollama 的官方網站以獲取平台特定的安裝說明。

步驟 2：下載 DeepSeek R1 模型

安裝 Ollama 後，下載 DeepSeek R1 模型：

ollama pull deepseek-r1

默認情況下，這將下載主要的 DeepSeek R1 模型（較大）。若您想要一個小一些的變體，請使用標籤指定其大小，例如：

ollama pull deepseek-r1:1.5b

這將獲取 1.5B 的精簡版本，其為性能最佳化。其他範例如：

ollama pull deepseek-r1:7b
ollama pull deepseek-r1:14b-qwen-distill-q4_K_M
ollama pull deepseek-r1:1.70b-llama-distill-fp16

步驟 3：啟動 Ollama 服務器

為確保 Ollama 準備好運行 AI 模型，在一個新終端窗口啟動其服務器：

ollama serve

步驟 4： 在本地運行 DeepSeek R1

現在，可以直接從終端與模型進行交互：

ollama run deepseek-r1

若需要指定模型變體，請使用相應的模型標籤（例如，7B）：

ollama run deepseek-r1:7b

步驟 5：向模型發送查詢

您可以開始向 DeepSeek R1 提示：

ollama run deepseek-r1:7b “Who is Condia?”

目前所述步驟僅通過命令行與 DeepSeek R1 交互。然而，Ollama 也提供了一種 API（應用程序編程接口）方式來進行，而不需直接輸入命令。

使用 Ollama API

以下步驟示範如何使用 curl 命令來使用 API，這是一種常見的發送請求到網路基 API 的方式。

  • 舉例來說，若要從終端生成文本，請輸入：
curl http://localhost:11434/api/generate -d '{
“model”: “deepseek-r1:7b”,
“prompt”: “write a Python function that reverses a given string.”
}'

為何使用 Ollama 運行 DeepSeek R1？

  • 快速設置，命令明了簡單。
  • 確保所有內容在自己機器上運行，保障完整的資料隱私。
  • 隨需輕鬆切換不同的 AI 模型。

結語

了解生成式 AI 的優勢及短處才能打造有效的 AI 助理。明確你的目標，以小任務嘗試，並不斷更新知識庫。此指南展示了如何利用 CodeGPT、LM Studio 和 Ollama 在本地運行 DeepSeek R1。現在，你可以去探索本地 LLMs 的潛力。

自訂 DeepSeek R1 託管的常見問題

問：DeepSeek 的擁有者是誰？

答： DeepSeek 是一家私有控股的 AI 公司，位於中國杭州，獲得 High-Flyer 的資助，由梁文峰領導。

問：應選擇哪種 DeepSeek R1 模型？

答： 若有強大硬件，應使用主要 DeepSeek R1 模型。若需在有限資源下快速生成，選擇如 1.5B 或 14B 的精簡版本。

問：這些自訂選項可以免費使用嗎？

答： Ollama 和 LM Studio 都是免費和開源的。DeepSeek R1 的授權通常允許免費使用，包括商業應用。微調雲服務可能會產生費用。CodeGPT 提供帶有限制的免費帳號。

問：可以在遠程服務器或 Docker 中運行 DeepSeek R1 嗎？

答： 是的，只要能安裝 Ollama，就可以在 Docker 容器、雲端虛擬機器或本地服務器上運行。

問：可以在手機上微調 DeepSeek 嗎？

答： 由於高計算需求，直接在手機上微調通常是不可行的。但您可以使用電話遙控訪強大的電腦或使用雲端服務進行微調。

問：這些模型適合商業用途嗎？

答： 是的，DeepSeek R1 系列模型擁有 MIT 許可，而 Qwen 精簡版本則受到 Apache 2.0 許可。基於 Llama 的版本有其特定許可。請確認您預期用途的具體許可細節。

問：運行 DeepSeek R1 模型需要哪些硬件？

答： 硬件需求因模型大小而異：1.5B 模型可以在擁有 8GB 記憶體的標準電腦上運行。7-32B 模型需要強大的 GPU（8-24GB VRAM）和 32-64GB 記憶體。70B+ 模型需要多 GPU 設置，具備高 VRAM 和 128+ GB 記憶體。