隨著人工智慧的商業模式興起，許多人開始重視其資訊蒐集和使用方式。我們可以確定的是，無論您是否付費以取得存取權，商業 AI 模型將會收集並轉用您輸入的查詢和見解作為其訓練資料。如果您想擺脫這樣的情形，本地代管的 AI 可以讓您重新掌控一切。

不管錯覺和不准確怎麼樣，在自己的系統上運行自定義的聊天機器人意味著不需要訂閱、無需依賴雲端，也無需受制於公司監督。這是完全運行在您的個人電腦上的 AI，從您的輸入中學習並根據您的需求自我調整。

DeepSeek 提供的開源模型——DeepSeek-V3 和 DeepSeek-R1——就使這一切成為可能。在本地佈署它們，您可以自主決定您的 AI 如何學習，同時確保您的資料完全保密。

經過廣泛的測試，我們找到三種有效的設置配置，這將幫助您實現這個目標。以下是您需要了解的啟動方式及如何讓此設置為您所用。

在本地運行自定義 DeepSeek 聊天機器人的選項

自定義的 DeepSeek 模型是基礎模型的專業版本。以強大的 Transformer 結構為基礎，DeepSeek 已經在生成類人文本方面表現卓越。但通過自定義化，則可以將其轉變為您特定領域的專家，無論那是客服支援、教育工具或是專業研究。

DeepSeek 的蒸餾模型將靈活性進一步延伸。這些緊湊版本提供了出色的推理能力，同時大幅降低了硬件要求，並有不同的參數規模，如 1.5B、7B、8B、14B、32B 和 70B，滿足不同需求。

對於您來說，這意味著什麼呢？

較小的模型（尤其是 8B 以下的）可以在配備 CPU、GPU 或 Apple Silicon 的普通電腦上順暢運行。無需昂貴的雲端運算或專用硬件，您可以在個人電腦上發布並實驗這些強大的 AI 工具。

基於我們即將討論的架構，這些模型即便在一般配置的設備上也能提供卓越的運行效能。

如何知道選擇什麼自定義設置？

每個選擇都有其特定的應用場景。這裡有一些問題，您可以考慮在做出決定之前進行思考：

  1. 您是否處理敏感資訊，該資訊不應在第三方服務器上處理？
  2. 您是否擁有強大的硬件？
  3. 您是否需要在無網絡連接的情況下使用助手？
  4. 免訂閱費用是否重要？
  5. 是否有多個團隊成員需要使用相同的助手？

接下來，我們將根據以下方面探討各種設置：

  • 每個模型的最佳使用場景
  • 發布範圍
  • 軟件或硬件需求
  • 優勢

無需編碼：使用 CodeGPT 以快速指南托管自定義 DeepSeek R1 模型

CodeGPT 提供了一個無需編碼、以雲端為動力的解決方案來運行 DeepSeek R1，非常適合尋求快速設置和共享訪問的團隊和非技術使用者。與 GitHub Copilot 不同，CodeGPT 允許您在受歡迎的 IDE（如 VS Code、Cursor 和 JetBrains）中使用本地 LLM（例如 DeepSeek R1）來提供提示、代碼完成、單元測試等功能。這也是一個網頁平台，提供更廣泛的團隊任務的 AI 代理。只需創建免費帳戶即可開始。

計算要求：

  • RAM：1GB+（較大模型需要更多）
  • 硬碟空間：20MB+（本地模型需要更多）
  • CPU：Intel Core i5+（不支持舊版 ARM）
  • macOS：所有版本除 Sonoma
  • Linux：2024年起支持
  • Windows：Windows 11 或更高
  • IDE：VS Code 1.96.0+
  • 無需 VLAN/VPN，除非授權
  • CodeGPT 需要網際網路

實施過程：

要在 CodeGPT 上運行 DeepSeek R1，請遵循以下步驟：

  • 步驟 1： 通過 Google 或 GitHub 在 codegpt.co 上註冊或登錄，然後創建新的 AI 代理並選擇 DeepSeek R1 作為模型。
  • 步驟 2： 在“代理知識”部分上傳您的文檔或 GitHub 存儲庫，為代理提供它的資料，作為您的私人知識庫。
  • 步驟 3： 在“指令”選項卡中設置系統提示，以限制響應於您上傳的資料，並可以選擇性地增加準確性和行為規則。
  • 步驟 4： 測試您的代理的回應以確保準確性，然後發布並通過公共鏈接或在您的機構中分享它。
  • 步驟 5： 定期在“代理歷史”面板中查看您的代理的性能，使用指標來改進準確性和效率。

請注意： CodeGPT 利用了生成式 AI 的所有功能。它可能並不總是提供正確的資訊。因此，您需要檢查其結果是否正確。

為什麼使用 CodeGPT 運行自定義 DeepSeek R1 模型？

  • 不需任何技術知識
  • 易於管理文檔
  • 內建分析和監控
  • 可以與多個使用者共享

基於代碼：如何在 LM Studio 和 Ollama 上運行自定義 DeepSeek R1 模型

方法 1：在 LM Studio 上運行自定義 DeepSeek R1

對於完整的數據主權以及離線 DeepSeek R1 運行，LM Studio 提供了強大的自我托管解決方案，但需要一定的技術能力。LM Studio 簡化模型的發現、下載和本地執行，提供來無縫整合的兼容 API。它允許經由‘高級配置’功能來進行精細的調整。

即使沒有高端硬件，您也可以解放 DeepSeek R1 的核心能力。值得注意的是，DeepSeek R1 的輸出還包括描述性‘思維’階段，提供了其推理過程的洞察，您可以選擇顯示或隱藏這些階段。

計算要求

  • 至少需要 16GB RAM（越多越好）
  • 硬碟空間：最低 20GB+
  • CPU：支持 AVX2 指令集
  • macOS：M1/M2/M3，Windows：x86 或 ARM，Linux：x86
  • 無需特定的 IDE
  • GPU：建議使用高效能，例：NVIDIA RTX 3070

實施過程：

  • 步驟 1： 從官方網站下載 LM Studio。然後運行安裝程式，按照畫面指示完成安裝。
  • 步驟 2： 打開 LM Studio，熟悉側邊欄選項：“聊天”、“開發者”、“我的模型”和“發現”。
  • 步驟 3： 進入“發現”選項卡（放大鏡圖標），搜索“DeepSeek R1 蒸餾”模型，例如 Qwen-7B 或 Llama 8B。
  • 步驟 4： 根據您的硬件選擇合適的量化版本。Qwen-7B 是一個好的起點。確保選中“GGUF”和“MLX”複選框以確保兼容性。
  • 步驟 5： 點擊綠色的“下載”按鈕，等待完成。
  • 步驟 6： 移至“聊天”選項卡，點擊“選擇加載模型”，選擇下載的 DeepSeek R1 模型，通過輸入提示開始與它互動。

注意： 建議在硬件限制有限的情況下從小型模型開始使用。此外，使用 LM Studio 0.3.7 Build 2 以保證兼容性，並參閱 Hugging Face 模型卡獲取詳情。

為什麼使用 LM Studio 運行 DeepSeek R1？

  • 完整的數據隱私
  • 使用者友好
  • 即使在飛機上也能離線運行
  • 無訂閱費用
  • 能在不同模型之間自由切換

方法 2：在 Ollama 上運行自定義 DeepSeek R1

對於本地運行 LLM，Ollama 是一個非常受歡迎的選擇，特別是如果您對命令行比較熟悉或需要編程控制時。它支持許多 AI 模型，包括 DeepSeek R1。

這些模型提供不同規模（從 1.5B 至 70B）、量化格式（如 q4_K_M， q8_0），以及蒸餾版本（如 qwen-distill，llama-distill）來平衡效能和資源使用。再加上其跨平台設計，使得在 macOS、Windows 和 Linux 上能順利運行，並且設置簡單。

計算要求

  • RAM：最低需要 8GB（較大模型需要更多）
  • 硬碟空間：500GB+，具體取決於所選模型版本。
  • CPU：Intel Core i5 或以上
  • 軟件：
    • 操作系統：macOS、Linux 和 Windows。
    • IDE：VSCode 版本 1.96.0 或以上
    • Node.js：版本 20.0.0 或更高。

實施過程：

步驟 1：安裝 Ollama

在運行 DeepSeek R1 之前，需要在您的系統上安裝 Ollama。

  • 對於 macOS（使用 Homebrew），使用以下命令安裝 Ollama： 
    brew install ollama。
  • 對於 Windows 和 Linux：訪問 Ollama 的官網以獲取平台特定的安裝指導。

步驟 2：下載 DeepSeek R1 模型

一旦安裝完成 Ollama，下載 DeepSeek R1 模型：

ollama pull deepseek-r1

默認情況下，這將下載主要的 DeepSeek R1 模型（體積較大）。若您需要較小的變體版本，請指定標籤，如：

ollama pull deepseek-r1:1.5b

這將獲取經過性能優化的 1.5B 蒸餾變體。其他範例包括：

ollama pull deepseek-r1:7b
ollama pull deepseek-r1:14b-qwen-distill-q4_K_M
ollama pull deepseek-r1:70b-llama-distill-fp16

步驟 3：啟動 Ollama 服務器

確保 Ollama 能運行 AI 模型，在新終端窗口中啟動其服務器：

ollama serve

步驟 4：在本地運行 DeepSeek R1

現在，可以直接從終端與模型互動：

ollama run deepseek-r1

若需指定模型變體，使用模型標籤（如 7B）：

ollama run deepseek-r1:7b

步驟 5：向模型發送查詢

您現在可以開始提示 DeepSeek R1：

ollama run deepseek-r1:7b “誰是 Condia？”

目前所涵蓋的步驟涉及直接通過命令行與 DeepSeek R1 互動。然而，Ollama 還提供 API（應用程序編程接口）選項而不是直接輸入命令。

使用 Ollama API

以下步驟示範如何使用 API 與 curl 命令進行，這是一種常見的發送請求給基於網絡 API 的方法。

  • 例如，從終端生成文本時，輸入：
curl http://localhost:11434/api/generate -d ‘{
“model”: “deepseek-r1:7b”,
“prompt”: “寫一個反轉給定字符串的 Python 函數。”
}’

為什麼使用 Ollama 運行 DeepSeek R1？

  • 簡單指令的快速設置
  • 一切都在您自己的機器上運行，確保完整的數據隱私
  • 可以根據需要輕鬆切換不同的 AI 模型

最後的想法

理解生成式 AI 的長處和短處能讓您建造有效的 AI 助手。確立您的用途，從小任務開始測試，並保持知識庫的更新。本指南已展示如何輕鬆地在本地運行 DeepSeek R1，無論是使用 CodeGPT、LM Studio 或 Ollama。現在，您可以探索本地 LLM 的無限潛力。

關於自定義 DeepSeek R1 托管的常見問題

Q: DeepSeek 是誰擁有的？

A: DeepSeek 是一家位於中國杭州的私人持有 AI 公司，資金來自於高飛公司，由梁文峰領導。

Q: 我應該選擇哪個 DeepSeek R1 模型？

A: 若想在強大的硬件上獲得最佳效能，請使用主要的 DeepSeek R1 模型。若需在有限資源上更快的生成，選擇蒸餾變體，如 1.5B 或 14B。

Q: 這些自定義選項可以免費使用嗎？

A: Ollama 和 LM Studio 是免費且開源的。DeepSeek R1 的授權通常允許免費使用，包括商業應用。用於調整的雲服務可能需要成本。CodeGPT 提供有限賬戶。

Q: 我能在遠程服務器或 Docker 中運行 DeepSeek R1 嗎？

A: 是的，只要您可以在 Docker 容器、雲虛擬機或本地服務器上安裝 Ollama，就可以運行 DeepSeek R1。

Q: 是否能在手機上微調 DeepSeek？

A: 直接在手機上進行微調通常由於高計算需求而不現實。然而，您可以用手機遠端訪問強大的電腦或雲服務進行微調。

Q: 這些模型適合商業用途嗎？

A: 是的，DeepSeek R1 系列模型是 MIT 授權的，Qwen 蒸餾變體是 Apache 2.0 授權的。Llama 為基礎的變體有其自己的授權。請確認要用於特定目的的授權細節。

Q: 需要什麼硬件來運行 DeepSeek R1 模型？

A: 硬件要求依模型規模而異：1.5B 模型可在標準 PC 上運行，具有 8GB RAM。7-32B 模型需要強大的 GPU（8-24GB VRAM）和 32-64GB RAM。70B 以上的模型需多 GPU 設置，具有高 VRAM 和 128+ GB RAM。