免费 LLM API:需检查的限制与 token 成本
免费 LLM API 可能足以用于原型开发,但它几乎总是有上限。以下是需要检查的要点列表,以及与按 token 付费的带数字对比。


关键点
所谓的免费及其隐藏成本
当输入 免费 llm api 时,你会看到几种截然不同的方案。基础模型上的每日免费配额。会耗尽的欢迎额度。你自己托管的本地模型,下载免费但不能运行。限时试用版。每种方案都有其条件,且会发生变化,因此在选择时请阅读供应商的官方页面。
共同点:总有人为 GPU 买单。如果不是你,就是供应商,他们通过限制、数据收集或希望你升级到付费套餐来弥补成本。这并不丢人,但在将 API 集成到产品中前阅读条款是合理的。
在使用前需检查的七个要点
- 速率上限。 每分钟请求数、每天请求数、每分钟 token 数。较低的每日配额会在需要演示的那天搞砸演示。
- 并发限制。 同时能处理多少请求?这决定了多用户聊天机器人的流畅度。
- 持续时间。 几天的试用不是生产环境计划。
- 提示词的使用情况。 它们用于训练模型吗?这写在条款里,而不是广告中。
- 内容过滤器。 如果模型拒绝你合法的用途,无论多便宜都无法使用。
- 模型稳定性。 模型可能会在不通知的情况下被移除或更改。
- 兼容性。 OpenAI 兼容格式可避免更换供应商时重写代码。
将你考虑的每个套餐代入此表格。记录答案,因为条件会变化,你以后可能需要对比。
按 token 付费的数值计算
按用量付费让人望而生畏,直到你计算出费用。这里的费率是输入每百万 token 0,15 $,输出每百万 0,50 $。假设一次请求输入 1 000 个 token,输出 500 个 token:0,00015 $ + 0,00025 $ = 0,0004 $。
| 量级 | 计算 | 月度成本 |
|---|---|---|
| 每天 100 次请求 | 3 000 × 0,0004 $ | 1,20 $ |
| 每天 1,000 次请求 | 30 000 × 0,0004 $ | 12 $ |
| 每天 10,000 次请求 | 300 000 × 0,0004 $ | 120 $ |
更重的生成场景:500 个 token 输入和 3 000 个 token 输出(长文本)。输入:500 × 0,15 / 1 000 000 = 0,000075 $。输出:3 000 × 0,50 / 1 000 000 = 0,0015 $。总计 0,001575 $,即 1 000 个文本成本为 1,575 $。在此场景下,输出成本远高于输入,因为输出每 token 的费率是输入的三倍以上。
对于大多数初创项目,账单依然很低。真正的风险不是单价,而是导致循环调用的 bug。请限制 max_tokens 并监控余额。
零成本测试:试用额度
为了获得一个初步印象,新用户可以在注册后(使用 Google 或电子邮件和密码),在 API 密钥页面一键申请 0,50 $ 的试用额度。该额度有效期为 7 天,每人限领一次,无需任何支付方式。按上述费率,它代表 0,50 / 0,0004 = 1 250 次请求,每次请求输入 1 000 个 token 并输出 500 个 token。
试用密钥限制为 2 个并发请求和每分钟 60 个请求,而完整密钥为 8 个和 300 个。这足以验证提示词、输出格式或集成。你可以在 获取 API 密钥 页面申请密钥。
该服务是一个仅文本模型,兼容 OpenAI,模型 ID 为 uncensored:它被设置为在合法成人使用范围内无内容拒绝地响应。不支持图像、音频或嵌入。
能妥善处理限制的客户端
无论使用哪个 API,好的客户端都应处理 429 错误。在此 API 中,API 返回 429 状态码,附带错误码 rate_limited(每分钟请求过多)或 concurrency(并发请求过多),并在临时过载时附带 Retry-After: 5。以下是 Python 的简单版本。
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.llmnoncensure.com/v1", api_key="VOTRE_CLE")
def appeler(messages, essais=4):
for n in range(essais):
try:
r = client.chat.completions.create(
model="uncensored",
messages=messages,
max_tokens=400,
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5 * (n + 1))
raise RuntimeError("Trop de refus 429, réessayez plus tard")
print(appeler([{"role": "user", "content": "Donne cinq idées de titres pour un roman policier."}]))
还需添加支出计数器:每次响应的 X-Balance-USD 标头会显示余额,GET /v1/balance 可按需查询。失败或被拒的请求不收费。
哪种用户画像适合哪种方案
与其进行总体排名,以下是根据你从事的工作提供的决策标准:
- 你正在周末探索一个想法。 免费配额或试用额度就足够了。不要在此之上构建任何永久性内容。
- 你正在为客户构建演示。 你需要可预测的限制和稳定的模型。几美元的付费信用额度即可购买这种可预测性。
- 你有真实用户。 按 token 付费成为唯一严肃的选择:你控制支出,避免配额中断,并将每次请求的成本与你的收入进行比较。
- 你处理敏感文本或标准过滤器拒绝的主题。 请先检查内容政策:如果一个免费模型拒绝你的合法用例,那它对你毫无用处。
为了在做出决定前衡量你的需求,请记录一周的请求数量、输入和输出的 token 数量以及并发请求峰值。每个响应的 usage 字段提供这些数字。然后乘以费率:如果月度总额只需几美元,免费使用的理由就不成立了。如果费用上涨,你就知道该采取什么措施,无论是缩短提示词、限制 max_tokens 还是缓存重复的响应。
无痛地从免费转向付费
当原型可行时,后续步骤很简单。没有订阅:你用加密货币充值 20 $ 至 500 $的整额金额(TRC20 上的 USDT 或 Base 上的 USDC),且额度永不失效。奖励:充值 50 $ 起 +5%,100 $ 起 +10%,200 $ 起 +15%。例如,100 $ 提供 110 $ 额度,即 110 / 0.0004 = 275 000 次典型请求。
定价页面列出了这些条件,文档描述了 /v1/chat/completions、/v1/responses 和 /v1/models 接口、流式输出、工具以及 JSON 模式。若要更广泛地了解集成方面的服务,请参阅 通过 API 集成无审查 AI指南。
同时牢记基本规则:仅限合法成人用途,且绝不允许涉及未成年人的性内容。提示词不用于模型训练。
其他指南
常见问题
是否存在真正免费且无限制的 LLM API?
据我所知,没有持久的免费形式:免费套餐有上限、期限或附加条件。请检查每个供应商的当前条款。
这里的典型请求成本是多少?
输入 1 000 个 token 且输出 500 个 token 大约需要 0,0004 $,按每百万 token 0,15 $ 和 0,50 $ 的费率计算。
试用额度需要支付方式吗?
不需要。0,50 $ 额度在注册后一键领取,有效期 7 天,每人限领一次。
如果我收到 429 错误怎么办?
等待后重试。rate_limited 代码表示每分钟请求过多,并发表示并行请求过多,Retry-After: 5 表示临时过载。