繁中 ▾
獲取 API 金鑰

LLM Non Censure指南

無審查 LLM:本地部署或託管 API,該如何選擇

在本地運行無審查 LLM 或付費使用託管 API:兩條路都行,好選擇取決於您的硬體、用量和耐心。

無審查 AI:逐步 API 整合指南

更新

比較本地電腦與雲端託管伺服器的圖像,以選擇 LLM

重點

一覽表

一個無審查的LLM可以透過兩種方式取得:下載開放權重模型並在您的機器上運行,或呼叫由他人託管的模型。以下是直接比較。

評估標準本地託管 API
入門安裝、下載大型權重、設定金鑰、URL、呼叫
硬體GPU 或強大機器,視模型大小而定無需,普通電腦即可
成本硬體購買加電費按 token 付費,無訂閱
隱私數據保留在您處提示詞經過第三方
離線是否
維護由您負責:更新、驅動程式、量化由託管商確保
擴展受您的機器限制最多 8 個並行請求和每分鐘 300 個請求

何時本地是最佳選擇

本地在三種情況下勝出。首先,當隱私絕對重要時:您不想將任何文本發送到任何伺服器。其次,當您離線工作或處於封閉網絡時。最後,當您喜歡折騰時:選擇量化、測試十種模型變體、調整低層參數。

Ollama、llama.cpp 或 LM Studio 等工具使此過程變得負擔得起,並且它們中的幾個甚至暴露了相容 OpenAI 的本地 API,這使得重用相同的程式碼成為可能。也就是說,您可以加載的模型大小取決於 GPU 或機器的記憶體。查看每個模型的說明文件和工具文檔以了解具體需求,它們差異很大。

缺點:小型本地模型通常比大型託管模型寫得差,且生成速度取決於您的設備。在根據自己的文本進行測試之前,請對現成的比較保持警惕。

何時託管 API 更合理

當您想要快速獲得結果,而不購買或配置硬體時,API 很合適。如果您為他人構建產品,也是如此:互動式小說應用、成人伴侶、內部工具。您無需管理 GPU 故障或更新。

此服務為 OpenAI 相容 API,僅提供單一開放權重模型 uncensored,由獨立供應商託管,設定為在合法成人框架內不拒絕任何內容。它提供 100,000 token 上下文視窗、串流輸出、函式呼叫與 JSON 模式。它僅生成文字,並排除涉及未成年人的性內容。透過 API 整合無審查 AI 指南詳細說明應用程式端的設定。

成本計算以作決定

費率為輸入 token 每百萬 0,15 $,輸出每百萬 0,50 $。一次輸入 1 000 token、輸出 500 token 的請求,費用為 1 000 × 0,15 / 1 000 000 + 500 × 0,50 / 1 000 000 = 0,00015 + 0,00025 = 0,0004 $。

假設你只為了這個需求購買一台 1 000 $ 的機器。這筆金額相當於在 API 上執行 1 000 / 0,0004 = 2 500 000 次此類請求,還未計算電費和你本地的維護時間。如果你的用量每月僅幾千次請求,API 成本遠低於此。若你持續執行數百萬次請求,計算結果可能會逆轉,特別是當該機器也用於其他用途時。

如果你已經擁有合適的 GPU,本地的邊際成本僅限於電費,API 則主要作為備用或擴展選項。請根據你的實際數據進行計算:實際用量、提示詞大小、你當地的硬體與能源價格。

撰寫在兩種情況下都能運作的程式碼

由於 API 遵循 OpenAI 格式,你可以編寫一次程式碼,僅透過配置即可更換託管服務。以下客戶端會從環境變數讀取 URL、金鑰和模型,預設使用託管 API。

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.llmnoncensure.com/v1"),
    api_key=os.getenv("LLM_API_KEY", "VOTRE_CLE"),
)
MODELE = os.getenv("LLM_MODEL", "uncensored")

def demander(texte):
    r = client.chat.completions.create(
        model=MODELE,
        messages=[{"role": "user", "content": texte}],
        temperature=0.8,
    )
    return r.choices[0].message.content

print(demander("Propose trois idées de nouvelles noires, une phrase chacune."))

若要切換至本地部署,只需設定 LLM_BASE_URL、LLM_API_KEY 與 LLM_MODEL 以符合本地伺服器需求。本地模型名稱不同,取決於您安裝的內容:請在工具文件中查閱。此分離機制可避免您被鎖定在單一選擇中。另見 API 文件,了解 /v1/chat/completions 與 /v1/responses 路由。

混合方法,通常是最合理的選擇

沒有必要二選一。許多開發者會同時結合兩者:

  • 本地用於私密工作:草稿、筆記、你不想發送至其他地方的文本。
  • API 用於高品質或高負載:使用高峰、演示、用戶測試、會佔滿你機器資源的長時間任務。
  • API 用於原型開發:你在短時間內驗證想法,然後再決定是否值得進行本地部署。

針對擴展,請注意限制:完整金鑰允許 8 個並行請求和每分鐘 300 次請求,試用金鑰則為 2 個和 60 次。超過限制時,API 會返回 429 狀態碼,並附帶 rate_limited 或 concurrency 代碼。良好的客戶端會等待並重試,而非直接崩潰。

最後一個預算指標:20 $ 儲值可覆蓋 20 / 0,0004 = 50 000 次上述標準大小的請求,100 $ 則因 10% 贈金變為 110 $ 額度,可執行 275 000 次請求。失敗或被拒絕的請求不會計費。掌握這些數據後,與你的實際硬體和能源成本進行比較就只是簡單的計算。

兩種方式都不會改變的事實

無原則性拒絕的模型並不能免除你的法律責任或常識判斷。無論模型是在本地運行還是伺服器上,你都要對你生成和發布的內容負責。禁止涉及未成年人的性內容,面向公眾的服務應自行設置年齡驗證。

關於託管選項的隱私性,一個明確的事實:提示詞不會用於訓練模型。其餘部分,請在發送敏感數據前閱讀 隱私政策。如果這一點對你至關重要,本地部署是最安全的選擇。

要開始無承諾試用,請在 取得 API 金鑰 頁面領取 0.50 $ 試用額度,無需付款方式。完成測試後,你將知道回應品質是否值得進一步投入,或留在本地部署。儲值費率見 費率 頁面,支援加密貨幣付款(TRC20 上的 USDT 或 Base 上的 USDC)。

其他指南

常見問題

本地無審查 LLM 是否比 API 更好?

不一定。它在隱私與離線方面表現較佳,但在易用性、低硬體下的品質與擴展性方面較弱。

我可以從本地無縫切換到 API 而不重寫程式碼嗎?

可以,如果你的程式碼使用 OpenAI SDK。只需修改 Base URL、金鑰和模型名稱即可。

託管 API 會保留我的提示詞用於訓練模型嗎?

不會,提示詞不會用於訓練。

託管 API 的價格是多少?

輸入每百萬 token 0,15 $,輸出每百萬 token 0,50 $,無訂閱費,額度永不過期。

你的金鑰僅需一步

建立帳戶、複製金鑰、修改 Base URL。就這些。

獲取 API 金鑰閱讀文件