無審查 LLM:本地部署或託管 API,該如何選擇
在本地運行無審查 LLM 或付費使用託管 API:兩條路都行,好選擇取決於您的硬體、用量和耐心。


重點
一覽表
一個無審查的LLM可以透過兩種方式取得:下載開放權重模型並在您的機器上運行,或呼叫由他人託管的模型。以下是直接比較。
| 評估標準 | 本地 | 託管 API |
|---|---|---|
| 入門 | 安裝、下載大型權重、設定 | 金鑰、URL、呼叫 |
| 硬體 | GPU 或強大機器,視模型大小而定 | 無需,普通電腦即可 |
| 成本 | 硬體購買加電費 | 按 token 付費,無訂閱 |
| 隱私 | 數據保留在您處 | 提示詞經過第三方 |
| 離線 | 是 | 否 |
| 維護 | 由您負責:更新、驅動程式、量化 | 由託管商確保 |
| 擴展 | 受您的機器限制 | 最多 8 個並行請求和每分鐘 300 個請求 |
何時本地是最佳選擇
本地在三種情況下勝出。首先,當隱私絕對重要時:您不想將任何文本發送到任何伺服器。其次,當您離線工作或處於封閉網絡時。最後,當您喜歡折騰時:選擇量化、測試十種模型變體、調整低層參數。
Ollama、llama.cpp 或 LM Studio 等工具使此過程變得負擔得起,並且它們中的幾個甚至暴露了相容 OpenAI 的本地 API,這使得重用相同的程式碼成為可能。也就是說,您可以加載的模型大小取決於 GPU 或機器的記憶體。查看每個模型的說明文件和工具文檔以了解具體需求,它們差異很大。
缺點:小型本地模型通常比大型託管模型寫得差,且生成速度取決於您的設備。在根據自己的文本進行測試之前,請對現成的比較保持警惕。
何時託管 API 更合理
當您想要快速獲得結果,而不購買或配置硬體時,API 很合適。如果您為他人構建產品,也是如此:互動式小說應用、成人伴侶、內部工具。您無需管理 GPU 故障或更新。
此服務為 OpenAI 相容 API,僅提供單一開放權重模型 uncensored,由獨立供應商託管,設定為在合法成人框架內不拒絕任何內容。它提供 100,000 token 上下文視窗、串流輸出、函式呼叫與 JSON 模式。它僅生成文字,並排除涉及未成年人的性內容。透過 API 整合無審查 AI 指南詳細說明應用程式端的設定。
成本計算以作決定
費率為輸入 token 每百萬 0,15 $,輸出每百萬 0,50 $。一次輸入 1 000 token、輸出 500 token 的請求,費用為 1 000 × 0,15 / 1 000 000 + 500 × 0,50 / 1 000 000 = 0,00015 + 0,00025 = 0,0004 $。
假設你只為了這個需求購買一台 1 000 $ 的機器。這筆金額相當於在 API 上執行 1 000 / 0,0004 = 2 500 000 次此類請求,還未計算電費和你本地的維護時間。如果你的用量每月僅幾千次請求,API 成本遠低於此。若你持續執行數百萬次請求,計算結果可能會逆轉,特別是當該機器也用於其他用途時。
如果你已經擁有合適的 GPU,本地的邊際成本僅限於電費,API 則主要作為備用或擴展選項。請根據你的實際數據進行計算:實際用量、提示詞大小、你當地的硬體與能源價格。
撰寫在兩種情況下都能運作的程式碼
由於 API 遵循 OpenAI 格式,你可以編寫一次程式碼,僅透過配置即可更換託管服務。以下客戶端會從環境變數讀取 URL、金鑰和模型,預設使用託管 API。
import os
from openai import OpenAI
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.llmnoncensure.com/v1"),
api_key=os.getenv("LLM_API_KEY", "VOTRE_CLE"),
)
MODELE = os.getenv("LLM_MODEL", "uncensored")
def demander(texte):
r = client.chat.completions.create(
model=MODELE,
messages=[{"role": "user", "content": texte}],
temperature=0.8,
)
return r.choices[0].message.content
print(demander("Propose trois idées de nouvelles noires, une phrase chacune."))
若要切換至本地部署,只需設定 LLM_BASE_URL、LLM_API_KEY 與 LLM_MODEL 以符合本地伺服器需求。本地模型名稱不同,取決於您安裝的內容:請在工具文件中查閱。此分離機制可避免您被鎖定在單一選擇中。另見 API 文件,了解 /v1/chat/completions 與 /v1/responses 路由。
混合方法,通常是最合理的選擇
沒有必要二選一。許多開發者會同時結合兩者:
- 本地用於私密工作:草稿、筆記、你不想發送至其他地方的文本。
- API 用於高品質或高負載:使用高峰、演示、用戶測試、會佔滿你機器資源的長時間任務。
- API 用於原型開發:你在短時間內驗證想法,然後再決定是否值得進行本地部署。
針對擴展,請注意限制:完整金鑰允許 8 個並行請求和每分鐘 300 次請求,試用金鑰則為 2 個和 60 次。超過限制時,API 會返回 429 狀態碼,並附帶 rate_limited 或 concurrency 代碼。良好的客戶端會等待並重試,而非直接崩潰。
最後一個預算指標:20 $ 儲值可覆蓋 20 / 0,0004 = 50 000 次上述標準大小的請求,100 $ 則因 10% 贈金變為 110 $ 額度,可執行 275 000 次請求。失敗或被拒絕的請求不會計費。掌握這些數據後,與你的實際硬體和能源成本進行比較就只是簡單的計算。
兩種方式都不會改變的事實
無原則性拒絕的模型並不能免除你的法律責任或常識判斷。無論模型是在本地運行還是伺服器上,你都要對你生成和發布的內容負責。禁止涉及未成年人的性內容,面向公眾的服務應自行設置年齡驗證。
關於託管選項的隱私性,一個明確的事實:提示詞不會用於訓練模型。其餘部分,請在發送敏感數據前閱讀 隱私政策。如果這一點對你至關重要,本地部署是最安全的選擇。
要開始無承諾試用,請在 取得 API 金鑰 頁面領取 0.50 $ 試用額度,無需付款方式。完成測試後,你將知道回應品質是否值得進一步投入,或留在本地部署。儲值費率見 費率 頁面,支援加密貨幣付款(TRC20 上的 USDT 或 Base 上的 USDC)。
其他指南
常見問題
本地無審查 LLM 是否比 API 更好?
不一定。它在隱私與離線方面表現較佳,但在易用性、低硬體下的品質與擴展性方面較弱。
我可以從本地無縫切換到 API 而不重寫程式碼嗎?
可以,如果你的程式碼使用 OpenAI SDK。只需修改 Base URL、金鑰和模型名稱即可。
託管 API 會保留我的提示詞用於訓練模型嗎?
不會,提示詞不會用於訓練。
託管 API 的價格是多少?
輸入每百萬 token 0,15 $,輸出每百萬 token 0,50 $,無訂閱費,額度永不過期。