JA ▾
API キーを取得

LLM Non Censureガイド

無検閲LLM:ローカルかホストAPIか、どちらを選ぶべきか

無検閲LLMを自前で動かすか、ホストAPIを利用するか。どちらの道も機能し、適切な選択はハードウェア、ボリューム、そしてあなたの忍耐次第です。

無検閲AI:API統合のためのステップバイステップガイド

最終更新

ローカルPCとクラウドサーバーを比較してLLMを選択するイメージ

主要ポイント

比較表

無検閲LLMは2つの方法で入手できます。オープンウェイトモデルの重みをダウンロードして自前で実行するか、他者がホストするモデルを呼び出すかです。以下に比較を示します。

基準ローカルホスティングAPI
セットアップインストール、大容量ファイルのダウンロード、設定1つのキー、1つのURL、1つのリクエスト
ハードウェアモデルサイズに応じたGPUまたは高性能マシン不要、シンプルなコンピュータで十分
コストハードウェア購入と電気代トークン課金、サブスクリプションなし
プライバシーデータはあなたの元に留まるプロンプトは第三者を経由する
オフラインはいいいえ
メンテナンスご自身で負担:アップデート、ドライバー、量子化ホスティング業者が保証
スケーラビリティお使いのマシンに制限されます最大8つの同時リクエスト、1分あたり300リクエスト

ローカルが最適な場合

ローカルは3つの状況で優位です。まず、プライバシーが最優先される場合:どのサーバーにも送信したくないテキストの場合。次に、オフラインまたはクローズドネットワークで作業する場合。最後に、自分でいじくり回すのが好きな場合:量子化を選択し、10種類のモデルバリエーションをテストし、低レベルのパラメータを調整します。

Ollama、llama.cpp、LM Studioなどのツールは実行を低コストにし、OpenAI互換のローカルAPIを公開するものもあり、同じコードを再利用できます。ただし、ロードできるモデルサイズはGPUまたはマシンのメモリに依存します。各モデルのデータシートとツールのドキュメントを確認し、正確な要件を確認してください。要件は大きく異なります。

弱点:ローカルの小規模モデルは通常、ホストされた大規模モデルよりも生成品質が低く、生成速度はあなたの環境に依存します。自分のテキストでテストするまで、既成の比較には注意してください。

ホスティングAPIが合理的な場合

ハードウェアの購入や設定なしで素早く結果が欲しい場合、または他の人のために製品を構築している場合はAPIが適しています。インタラクティブフィクションアプリ、大人向けコンパニオン、社内ツールなど。GPUの障害やアップデートの管理は不要です。

ここで説明するサービスは、OpenAI互換のAPIであり、単一のオープンウェイトモデルuncensoredを使用しています。これは独立したプロバイダによって運用され、法的な成人向け環境においてコンテンツ拒否なしで応答するように調整されています。100,000トークンのコンテキストウィンドウ、ストリーミング、関数呼び出し、JSONモードを提供します。テキストのみを生成し、未成年者を含む性的コンテンツは除外されます。APIによる無検閲AIの統合ガイドがアプリケーション側のセットアップを詳細に説明しています。

コスト計算で決める

料金は、入力トークン100万トークンあたり$0.15、出力100万トークンあたり$0.50です。入力が1,000トークン、出力が500トークンのリクエストの場合、1,000 × 0.15 / 1,000,000 + 500 × 0.50 / 1,000,000 = 0.00015 + 0.00025 = $0.0004となります。

仮に、この用途のためにのみ$1,000のマシンを購入すると考えてみましょう。この金額は、1,000 / 0.0004 = 2,500,000件のこのサイズのAPIリクエストに相当します。これに加えて電気代やローカル側の保守時間も考慮する必要があります。月数千件のリクエスト程度であれば、API利用料は非常に抑えられます。しかし、何百万件ものリクエストを継続的に実行する場合、計算結果は逆転する可能性があります。特に、そのマシンが他の用途にも使用される場合です。

すでに適切なGPUをお持ちの場合、ローカルの限界費用は電気代に限定され、APIは主にバックアップまたは負荷増加分のオプションとなります。実際の数字で計算してください:実際のボリューム、プロンプトのサイズ、あなたの環境でのハードウェアとエネルギーのコスト。

両方のケースで動作するコードを書く

APIはOpenAIの形式に従っているため、一度コードを書けば、設定を変更するだけでホスティング先を変更できます。以下は、環境変数からURL、APIキー、モデルを読み取り、デフォルトでホストされたAPIを使用するクライアントです。

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.llmnoncensure.com/v1"),
    api_key=os.getenv("LLM_API_KEY", "VOTRE_CLE"),
)
MODELE = os.getenv("LLM_MODEL", "uncensored")

def demander(texte):
    r = client.chat.completions.create(
        model=MODELE,
        messages=[{"role": "user", "content": texte}],
        temperature=0.8,
    )
    return r.choices[0].message.content

print(demander("Propose trois idées de nouvelles noires, une phrase chacune."))

ローカルに移行するには、ローカルサーバーが期待する内容に応じてLLM_BASE_URL、LLM_API_KEY、LLM_MODELを設定するだけです。ローカルモデルの名前は異なり、インストールした内容に依存します。ツールのドキュメントで確認してください。この分離により、特定の選択に縛られることを防げます。また、/v1/chat/completionsおよび/v1/responsesのAPIドキュメントも参照してください。

最も合理的なことが多いハイブリッドアプローチ

どちらか一方を選ぶ必要はありません。多くの開発者は両方を組み合わせています:

  • プライベートな作業にはローカル:ドラフト、ノート、他の場所に送信したくないテキスト。
  • 品質または負荷にはAPI:使用量のピーク、デモ、ユーザーテスト、マシンを飽和させる長時間のタスク。
  • プロトタイピングにはAPI:アイデアを1時間で検証し、ローカル展開の必要性を判断します。

スケーリングの際は以下の制限にご注意ください:完全キーは同時8リクエスト、1分あたり300リクエストまで許可されます。試用キーは同時2リクエスト、1分あたり60リクエストです。これを超えるとAPIは429を返し、コードはrate_limitedまたはconcurrencyとなります。適切なクライアントはクラッシュするのではなく、待機して再試行します。

予算の最後の目安:$20のチャージは、上記の標準的なサイズの20 / 0.0004 = 50,000リクエストをカバーし、$100は10%ボーナス付きで$110のクレジット(275,000リクエスト分)になります。失敗または拒否されたリクエストは課金されません。これらの数字があれば、ハードウェアとエネルギーの実際のコストと比較するのは、単なる計算の練習になります。

どちらの経路でも変わらないこと

原則として拒否しないモデルは、権利や常識を無視できるわけではありません。モデルが自宅またはサーバー上で動作するかにかかわらず、生成・公開する内容に対してあなたが責任を負います。未成年者を含む性的コンテンツは除外され、一般向けサービスには独自の年齢確認を設ける必要があります。

ホストされたオプションのプライバシーに関する正確な事実:プロンプトはモデルのトレーニングには使用されません。それ以外については、機密データを送信する前にプライバシーポリシーをお読みください。この点があなたにとって決定的に重要であれば、ローカルが最も安全な選択です。

縛りなしで試すには、APIキーを取得ページで$0.50の無料トライアルクレジットをリクエストしてください。支払い方法は不要です。このテストを終えると、回答の品質がさらに進めるに値するか、ローカルに留まるべきかがわかります。チャージの料金は料金ページに記載されており、暗号資産(TRC20上のUSDTまたはBase上のUSDC)で支払いできます。

その他のガイド

よくある質問

検閲なしのローカルLLMはAPIよりも優れていますか?

必ずしもそうではありません。プライバシーとオフラインでは優れていますが、シンプルさ、低スペックハードウェアでの品質、スケーリングでは劣ります。

ローカルからAPIに変更してもコードを書き直す必要はありませんか?

コードがOpenAI SDKを使用している場合、はい。ベースURL、キー、モデル名を変更するだけです。

ホストAPIは、モデルの学習のためにプロンプトを保持しますか?

いいえ、プロンプトはトレーニングには使用されません。

ホストされたAPIの価格はいくらですか?

入力100万トークンあたり$0.15、出力100万トークンあたり$0.50。サブスクリプションなし、期限なしのクレジット。

キーはあと1ステップです

アカウントを作成し、キーをコピーし、ベースURLを変更します。それだけです。

APIキーを取得ドキュメントを読む