ID ▾
Dapatkan kunci API

LLM Non CensurePanduan

LLM tanpa sensor: lokal atau API terhosting, mana yang dipilih

Menjalankan LLM tanpa sensor di rumah atau membayar API terhosting: kedua jalur ini berhasil, dan pilihan yang tepat bergantung pada perangkat keras, volume, dan kesabaran Anda.

LLM Tanpa Sensor: Panduan Integrasi API Langkah demi Langkah

Diperbarui

Skala membandingkan komputer lokal dan server awan untuk memilih LLM

Poin utama

Pilihan dalam tabel

llm tanpa sensor dapat diperoleh dengan dua cara: Anda mengunduh bobot model terbuka dan menjalankannya di mesin Anda, atau Anda memanggil model yang sudah dihosting oleh orang lain. Berikut perbandingannya, tanpa basa-basi.

KriteriaLokalAPI terhosting
PeluncuranInstalasi, unduh bobot model besar, pengaturanSatu kunci, satu URL, satu panggilan
Perangkat kerasGPU atau mesin kuat, tergantung ukuran modelTidak ada, komputer sederhana saja cukup
BiayaPembelian perangkat keras plus listrikPembayaran per token, tanpa langganan
PrivasiData tetap di rumah AndaPrompt melewati pihak ketiga
OfflineYaTidak
PemeliharaanTanggung jawab Anda: pembaruan, driver, kuantisasiDijamin oleh penyedia
SkalabilitasDibatasi oleh mesin AndaHingga 8 permintaan simultan dan 300 per menit

Kapan lokal adalah pilihan terbaik

Lokal menang dalam tiga situasi. Pertama, ketika privasi sangat penting: teks yang tidak ingin Anda kirim ke server mana pun. Kedua, ketika Anda bekerja offline atau di jaringan tertutup. Terakhir, ketika Anda suka bereksperimen: memilih kuantisasi, menguji sepuluh varian model, menyesuaikan parameter tingkat rendah.

Alat seperti Ollama, llama.cpp, atau LM Studio membuat latihan ini terjangkau, dan beberapa bahkan mengekspos API lokal yang kompatibel dengan OpenAI, sehingga memungkinkan penggunaan kode yang sama. Namun, ukuran model yang dapat Anda muat tergantung pada memori GPU atau mesin Anda. Lihat spesifikasi setiap model dan dokumentasi alat untuk mengetahui kebutuhan pastinya, yang sangat bervariasi.

Kekurangan: model lokal yang lebih kecil umumnya menulis lebih buruk daripada model besar yang dihosting, dan kecepatan generasi bergantung pada peralatan Anda. Selama Anda belum menguji pada teks Anda sendiri, waspadalah terhadap perbandingan yang sudah jadi.

Kapan API terhosting lebih masuk akal

API cocok ketika Anda ingin hasil cepat, tanpa membeli atau mengonfigurasi perangkat keras. Ini juga berlaku jika Anda membangun produk untuk orang lain: aplikasi fiksi interaktif, teman untuk dewasa, alat internal. Anda tidak perlu mengelola kegagalan GPU atau pembaruan.

Layanan yang dijelaskan di sini adalah API kompatibel OpenAI dengan satu model open-weight, uncensored, yang dioperasikan oleh penyedia independen dan diatur untuk merespons tanpa filter konten dalam konteks dewasa yang legal. Ini menyediakan jendela 100 000 token, streaming, panggilan alat, dan mode JSON. Ini hanya menghasilkan teks, dan konten seksual yang melibatkan anak di bawah umur dikecualikan. Panduan mengintegrasikan LLM tanpa sensor melalui API menjelaskan penyiapan sisi aplikasi.

Perhitungan biaya untuk memutuskan

Tarifnya adalah $0,15 per juta token input dan $0,50 per juta token output. Permintaan dengan 1.000 token input dan 500 token output biayanya 1.000 × 0,15 / 1.000.000 + 500 × 0,50 / 1.000.000 = 0,00015 + 0,00025 = $0,0004.

Bayangkan, sebagai hipotesis, Anda mempertimbangkan untuk membeli mesin seharga $1.000 hanya untuk kebutuhan ini. Jumlah tersebut setara dengan 1.000 / 0,0004 = 2.500.000 permintaan berukuran tersebut melalui API, belum termasuk listrik dan waktu pemeliharaan lokal Anda. Jika penggunaan Anda hanya beberapa ribu permintaan per bulan, API jauh lebih murah. Jika Anda menjalankan jutaan permintaan secara terus-menerus, perhitungannya bisa berbalik, terutama jika mesin tersebut juga digunakan untuk keperluan lain.

Jika Anda sudah memiliki GPU yang sesuai, biaya marginal untuk penggunaan lokal hanya terbatas pada listrik, dan API menjadi terutama opsi cadangan atau untuk skala besar. Lakukan perhitungan ini dengan angka Anda sendiri: volume aktual, ukuran prompt, harga perangkat keras, dan energi di lokasi Anda.

Menulis kode yang berfungsi dalam kedua skenario

Karena API mengikuti format OpenAI, Anda dapat menulis kode sekali dan mengubah hosting hanya melalui konfigurasi. Berikut adalah klien yang membaca URL, kunci, dan model dari lingkungan, dengan API yang di-host secara default.

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.llmnoncensure.com/v1"),
    api_key=os.getenv("LLM_API_KEY", "VOTRE_CLE"),
)
MODELE = os.getenv("LLM_MODEL", "uncensored")

def demander(texte):
    r = client.chat.completions.create(
        model=MODELE,
        messages=[{"role": "user", "content": texte}],
        temperature=0.8,
    )
    return r.choices[0].message.content

print(demander("Propose trois idées de nouvelles noires, une phrase chacune."))

Untuk beralih ke lokal, Anda cukup menetapkan LLM_BASE_URL, LLM_API_KEY, dan LLM_MODEL sesuai dengan yang diharapkan oleh server lokal Anda. Nama model lokal berbeda dan bergantung pada apa yang telah Anda instal: periksa nama-nama tersebut dalam dokumentasi alat. Pemisahan ini mencegah Anda terjebak dalam satu pilihan. Lihat juga dokumentasi API untuk rute /v1/chat/completions dan /v1/responses.

Pendekatan hibrida, seringkali yang paling masuk akal

Tidak ada kewajiban untuk memilih satu sisi. Banyak pengembang menggabungkan keduanya:

  • Lokal untuk pekerjaan privat: draf, catatan, teks yang tidak ingin Anda kirimkan ke tempat lain.
  • API untuk kualitas atau beban kerja: lonjakan penggunaan, demonstrasi, pengujian dengan pengguna, tugas panjang yang membebani mesin Anda.
  • API untuk prototipe: Anda memvalidasi ide dalam satu jam, lalu memutuskan apakah penyebaran lokal layak dilakukan.

Untuk penskalaan, perhatikan batasnya: kunci lengkap mengizinkan 8 permintaan konkuren dan 300 per menit, sedangkan kunci uji coba mengizinkan 2 dan 60. Di atas batas tersebut, API merespons dengan kode 429 rate_limited atau concurrency. Klien yang ditulis dengan baik akan menunggu dan mencoba lagi alih-alih gagal.

Patokan anggaran terakhir: pengisian saldo sebesar $20 mencakup 20 / 0,0004 = 50.000 permintaan berukuran standar di atas, dan $100 memberikan $110 kredit dengan bonus 10%, yaitu 275.000 permintaan. Permintaan yang gagal atau ditolak tidak ditagih. Dengan angka-angka ini, membandingkannya dengan biaya perangkat keras dan energi aktual Anda menjadi sekadar latihan perhitungan.

Apa yang tidak berubah oleh kedua jalur tersebut

Model tanpa penolakan prinsipil tidak membebaskan Anda dari hukum atau akal sehat. Baik model berjalan di lokasi Anda atau di server, Anda bertanggung jawab atas apa yang Anda hasilkan dan terbitkan. Konten seksual yang melibatkan anak di bawah umur tetap dikecualikan, dan layanan yang ditujukan untuk publik harus menyediakan verifikasi usia sendiri.

Terkait privasi opsi yang di-host, fakta spesifiknya: prompt tidak digunakan untuk melatih model. Untuk sisanya, baca kebijakan privasi sebelum mengirim data sensitif. Jika poin ini sangat penting bagi Anda, pilihan lokal adalah yang paling aman.

Untuk memulai uji coba tanpa komitmen, klaim kredit uji coba sebesar $0,50 di halaman dapatkan kunci API, tanpa memerlukan metode pembayaran. Setelah pengujian ini, Anda akan tahu apakah kualitas respons layak untuk dilanjutkan atau tetap menggunakan lokal. Tarif pengisian saldo terdapat di halaman tarif, dengan pembayaran menggunakan kripto (USDT di jaringan TRC20 atau USDC di jaringan Base).

Panduan lainnya

Pertanyaan Umum

Apakah LLM tanpa sensor lokal lebih baik daripada API?

Tidak selalu. LLM ini lebih baik untuk privasi dan penggunaan offline, tetapi kurang baik untuk kemudahan penggunaan, kualitas dengan perangkat keras terbatas, dan penskalaan.

Bisakah saya beralih dari lokal ke API tanpa menulis ulang kode saya?

Ya, jika kode Anda menggunakan SDK OpenAI. Anda hanya perlu mengubah URL dasar, kunci, dan nama model.

Apakah API yang di-host menyimpan prompt saya untuk melatih model?

Tidak, prompt tidak digunakan untuk pelatihan.

Berapa harga API yang di-host?

$0,15 per juta token input dan $0,50 per juta token output, tanpa langganan, dengan kredit yang tidak pernah kedaluwarsa.

Kunci Anda hanya satu langkah

Buat akun, salin kunci, ubah URL dasar. Selesai.

Dapatkan kunci APIBaca dokumentasi