中文 ▾
获取 API 密钥

LLM Non Censure指南

无审查 LLM:本地部署还是托管 API?

在本地运行无审查 LLM 或支付托管 API:两条路都行,正确的选择取决于你的硬件、用量和耐心。

无审查 AI:分步 API 集成指南

更新于

比较本地计算机和云托管服务器以选择 LLM 的插图

要点

对比表格

获取无审查 LLM有两种方式:下载开放权重模型并在你的机器上运行,或调用由他人托管的模型。以下是直接对比。

标准本地托管 API
启动安装、下载大型模型权重、配置一个密钥、一个 URL、一次调用
硬件GPU 或高性能机器,取决于模型大小无需,普通电脑即可
成本硬件购买及电费按 token 付费,无订阅
隐私数据保留在你手中提示词经由第三方传输
离线是否
维护由你负责:更新、驱动、量化由托管方保障
扩展性受限于你的机器最多 8 个并发请求,每分钟 300 个请求

何时本地部署是最佳选择

本地部署在三种情况下占优。首先是隐私要求极高:你不想将文本发送到任何服务器。其次是离线工作或处于封闭网络。最后是你喜欢折腾:选择量化方案、测试十种模型变体、调整底层参数。

Ollama、llama.cpp 或 LM Studio 等工具使这一过程变得可负担,且多个工具提供兼容 OpenAI 的本地 API,从而允许重用相同代码。不过,你能加载的模型大小取决于 GPU 或机器的内存。查看每个模型的说明和工具文档以了解确切需求,差异很大。

缺点:本地小模型通常比大型托管模型生成的文本质量较差,且生成速度取决于你的硬件。在用自己的文本测试之前,不要轻信现成的对比数据。

何时托管 API 更合理

当你希望快速获得结果,无需购买或配置硬件时,API 很合适。如果你为其他人构建产品,也是如此:互动小说应用、成人伴侣、内部工具。你无需管理 GPU 故障或更新。

此处描述的 API 兼容 OpenAI,仅使用一个开放权重模型uncensored,由独立供应商运营,并在合法成人框架内提供无内容拒绝的响应。它提供 100 000 token 的上下文窗口、流式输出、函数调用和 JSON 模式。它仅生成文本,且涉及未成年人的性内容会被排除。通过 API 集成无审查 AI指南详细介绍了应用侧的设置。

成本计算以做决定

价格为输入每百万 token $0.15,输出每百万 $0.50。一次 1 000 token 输入、500 token 输出的请求费用为 1 000 × 0.15 / 1 000 000 + 500 × 0.50 / 1 000 000 = 0.00015 + 0.00025 = $0.0004。

假设你打算购买一台 1 000 $ 的机器,仅用于此需求。这笔金额相当于在 API 上发起 1 000 / 0.0004 = 2 500 000 次该规模的请求,还不包括电力和本地维护时间。如果你的月请求量在几千次左右,API 成本远低于此。如果你持续发起数百万次请求,计算结果可能会反转,尤其是当该机器还用于其他用途时。

如果你已经拥有合适的 GPU,本地的边际成本仅限于电力,API 主要作为备用或弹性扩展选项。请根据你的实际数据自行计算:实际请求量、提示词大小、你当地的硬件和能源价格。

编写在两种情况下都能运行的代码

因为 API 遵循 OpenAI 格式,你可以编写一次代码,仅通过配置更改即可切换托管方。以下客户端从环境变量中读取 URL、密钥和模型,默认使用托管 API。

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.llmnoncensure.com/v1"),
    api_key=os.getenv("LLM_API_KEY", "VOTRE_CLE"),
)
MODELE = os.getenv("LLM_MODEL", "uncensored")

def demander(texte):
    r = client.chat.completions.create(
        model=MODELE,
        messages=[{"role": "user", "content": texte}],
        temperature=0.8,
    )
    return r.choices[0].message.content

print(demander("Propose trois idées de nouvelles noires, une phrase chacune."))

要切换到本地,只需根据本地服务器的要求设置 LLM_BASE_URL、LLM_API_KEY 和 LLM_MODEL。本地模型的名称不同,取决于你安装了什么:请在工具文档中查看。这种分离方式让你不必被锁定在单一选择中。另请参阅 API 文档 中关于 /v1/chat/completions 和 /v1/responses 路由的说明。

混合方法,通常是最明智的选择

没有理由必须二选一。许多开发者将两者结合使用:

  • 本地用于私密工作:草稿、笔记、你不想发送到其他地方的文本。
  • API 适用于高质量或高负载场景:使用高峰、演示、用户测试、占用你机器资源的长任务。
  • API 用于原型开发:你在一小时内验证想法,然后决定是否值得进行本地部署。

关于扩展性,请注意限制:完整密钥允许 8 个并发请求和每分钟 300 次请求,试用密钥允许 2 个并发请求和每分钟 60 次请求。超出限制时,API 返回 429 状态码,并附带rate_limited或concurrency错误代码。编写良好的客户端会等待并重试,而不是崩溃。

另一个预算参考:$20 充值可覆盖 20 / 0.0004 = 50,000 次上述规模的请求,$100 充值可获得 $110 额度(10% 奖励),即 275,000 次请求。失败或被拒绝的请求不收费。有了这些数字,将其与你的硬件和能源成本进行比较,就只是简单的计算。

两条路径都不会改变的事实

无审查模型并不意味着免除法律和常识。无论模型是在本地运行还是在服务器上运行,你都要为你生成和发布的内容负责。涉及未成年人的性内容仍被排除,面向公众的服务必须提供自己的年龄验证。

关于托管选项的隐私性,一个确切的事实:提示词不用于训练模型。其余部分,请在发送敏感数据之前阅读 隐私政策。如果这一点对你至关重要,本地部署是最安全的选择。

要开始无承诺的试用,请在 获取 API 密钥 页面领取 $0.50试用额度,无需支付方式。完成此测试后,你将知道响应质量是否值得进一步投入,还是留在本地。充值价格见 定价 页面,支持加密货币支付(TRC20 上的 USDT 或 Base 上的 USDC)。

其他指南

常见问题

本地无审查 LLM 比 API 更好吗?

不一定。它在隐私和离线方面更好,但在易用性、低硬件下的质量和扩展方面较差。

我可以从本地切换到 API 而不重写代码吗?

可以,如果你的代码使用 OpenAI SDK。只需修改基础 URL、密钥和模型名称即可。

托管 API 会保留我的提示词用于训练模型吗?

不会,提示词不用于训练。

托管 API 的价格是多少?

$0.15/百万输入 token,$0.50/百万输出 token,无订阅,额度永不失效。

获取密钥只需一步

创建账户,复制密钥,修改基础 URL。就这样。

获取 API 密钥阅读文档