LLM Non CensureRehber
Sansürsüz LLM: yerel mi barındırılan API mi, hangisini seçmeli
Bir sansürsüz LLM'i kendi başınıza çalıştırmak mı yoksa barındırılan bir API'ye mi ödeme yapmak: her iki yol da işe yarar ve doğru seçim donanımınıza, hacminize ve sabrınıza bağlıdır.


Temel Noktalar
Tek tabloda seçim
Bir sansürsüz llm iki şekilde elde edilebilir: açık bir modelin ağırlıklarını indirip makinenizde çalıştırırsınız veya başkası tarafından zaten barındırılan bir modeli çağırırsınız. İşte, doğrudan yapılan karşılaştırma.
| Kriter | Yerel | Barındırılan API |
|---|---|---|
| Kurulum | Kurulum, ağır ağırlıkların indirilmesi, ayarlar | Bir anahtar, bir URL, bir çağrı |
| Donanım | Model boyutuna bağlı olarak GPU veya güçlü makine | Yok, basit bir bilgisayar yeterlidir |
| Maliyet | Donanım alımı ve elektrik | Token başına ödeme, abonelik yok |
| Gizlilik | Veriler evinizde kalır | Prompt'lar bir üçüncü taraf üzerinden geçer |
| Çevrim dışı | Evet | Hayır |
| Bakım | Sizin sorumluluğunuz: güncellemeler, sürücüler, niceleme | Barındırıcı tarafından sağlanır |
| Ölçeklenebilirlik | Makinenizle sınırlı | Eşzamanlı 8 isteğe ve dakikada 300 isteğe kadar |
Yerel çözümün en iyi seçim olduğu durumlar
Yerel çözüm üç durumda kazanır. Öncelikle, gizliliğin mutlak olarak öncelikli olduğu durumlarda: hiçbir sunucuya göndermek istemediğiniz metinler. Ardından, çevrim dışı çalıştığınızda veya kapalı bir ağ üzerinde çalıştığınızda. Son olarak, kendi başınıza bir şeyler yapmayı sevdiğinizde: niceleme seçme, on farklı model varyantını test etme, düşük seviye parametreleri ayarlama.
Ollama, llama.cpp veya LM Studio gibi araçlar bu uygulamayı uygun hale getirir ve hatta OpenAI uyumlu yerel bir API sunarak aynı kodun yeniden kullanılmasına olanak tanır. Ancak, yükleyebileceğiniz model boyutu, GPU'nuzun veya makinenizin belleğine bağlıdır. Gereksinimleri tam olarak bilmek için her modelin sayfasına ve aracın dokümantasyonuna bakın; bunlar büyük ölçüde değişir.
Kötü taraf: küçük bir yerel model genellikle büyük bir barındırılan modele göre daha az iyi yazar ve üretim hızı donanımınıza bağlıdır. Kendi metinlerinizde test etmeden önce, hazır karşılaştırmalara dikkat edin.
Barındırılan API'nin daha mantıklı olduğu durumlar
API, donanım satın alıp yapılandırmadan hızlı bir sonuç istediğinizde uygundur. Başkaları için bir ürün oluşturuyorsanız da böyledir: interaktif kurgu uygulaması, yetişkinler için bir arkadaş, iç bir araç. GPU arızalarıyla veya güncellemelerle ilgilenmenize gerek yoktur.
Burada tanımlanan hizmet, bağımsız bir sağlayıcı tarafından işletilen ve yasal yetişkin çerçevesinde içerik reddi olmadan yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı uncensored modeliyle OpenAI uyumlu bir API'dir. 100 000 token'lık bir bağlam penceresi, akış, fonksiyon çağırma ve JSON modu sağlar. Yalnızca metin üretir ve cinselliğe dayalı, reşit olmayanları içeren içerikler hariç tutulur. API aracılığıyla sansürsüz AI entegrasyonu kılavuzu uygulama tarafındaki kurulumu detaylandırır.
Karar vermek için bir maliyet hesabı
Ücretlendirme, giriş için milyon token başına 0,15 $ ve çıkış için milyon başına 0,50 $'dır. 1 000 token giriş ve 500 token çıkış içeren bir istek 1 000 × 0,15 / 1 000 000 + 500 × 0,50 / 1 000 000 = 0,00015 + 0,00025 = 0,0004 $ tutarındadır.
Varsayımsal olarak, yalnızca bu ihtiyaç için 1 000 $'a bir makine almayı düşündüğünüzü varsayalım. Bu tutar, API'de bu boyutta 1 000 / 0,0004 = 2 500 000 isteğe karşılık gelir; elektrik ve yerel tarafta bakım için harcayacağınız zaman buna dahil değildir. Kullanımınız ayda birkaç bin istek civarındaysa API çok daha ucuz kalır. Sürekli olarak milyonlarca istek gönderiyorsanız hesap tersine dönebilir, özellikle makine başka işler için de kullanılıyorsa.
Zaten uygun bir GPU'nuz varsa, yerel kullanımın marjinal maliyeti yalnızca elektrik maliyetidir ve API öncelikle bir yedek veya yük artırma seçeneği haline gelir. Kendi sayılarınızla bu hesaplamayı yapın: gerçek hacim, istem boyutu, donanım ve enerji maliyetleri.
Her iki durumda da çalışan kod yazmak
API OpenAI formatını takip ettiği için, bir kez kod yazabilir ve yapılandırmayla barındırma sağlayıcısını değiştirebilirsiniz. İşte ortamdan URL'yi, anahtarı ve modeli okuyan varsayılan olarak API ile barındırılan bir istemci.
import os
from openai import OpenAI
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.llmnoncensure.com/v1"),
api_key=os.getenv("LLM_API_KEY", "VOTRE_CLE"),
)
MODELE = os.getenv("LLM_MODEL", "uncensored")
def demander(texte):
r = client.chat.completions.create(
model=MODELE,
messages=[{"role": "user", "content": texte}],
temperature=0.8,
)
return r.choices[0].message.content
print(demander("Propose trois idées de nouvelles noires, une phrase chacune."))
Yerel çözüme geçmek için, yerel sunucunuzun beklediği şekilde LLM_BASE_URL, LLM_API_KEY ve LLM_MODEL değişkenlerini tanımlamanız yeterlidir. Yerel model adları farklılık gösterir ve kurduğunuz şeye bağlıdır: bunları aracın belgelerinde kontrol edin. Bu ayrım, sizi tek bir seçeneğe hapsedilmeden kurtarır. Ayrıca /v1/chat/completions ve /v1/responses yolları için API belgelerine da göz atın.
Hibrit yaklaşım, genellikle en mantıklı olan
Bir tarafa bağlanmaya gerek yok. Birçok geliştirici ikisini birleştirir:
- Özel iş için yerel çözüm: taslaklar, notlar, başka yere göndermek istemediğiniz metinler.
- API için kalite veya yük: kullanım zirveleri, demo sunumları, kullanıcı testleri, makinenizi yoran uzun görevler.
- Prototipleme için API : fikri bir saat içinde doğrulayın, ardından yerel dağıtımın gerekip gerekmediğine karar verin.
Ölçeklendirme için limitlere dikkat edin: tam bir anahtar eşzamanlı 8 istek ve dakikada 300 istek yapmanıza izin verir; deneme anahtarı ise 2 ve 60 ile sınırlıdır. Bunun ötesinde API, rate_limited veya concurrency koduyla 429 yanıtı verir. İyi yazılmış bir istemci çökmek yerine bekler ve tekrar dener.
Son bir bütçe referansı: 20 $ yükleme, yukarıdaki tipik boyuttaki 20 / 0,0004 = 50 000 istek kapsar ve 100 $ %10 bonusla 110 $ kredi verir, yani 275 000 istek. Başarısız veya reddedilen istekler faturalandırılmaz. Bu sayılarla donanım ve enerji maliyetinizle karşılaştırmak basit bir hesaplamaya dönüşür.
İki yolun da değiştiremeyeceği şeyler
İlkeli reddi olmayan bir model sizi ne hukuktan ne de mantıktan muaf tutar. Model evinizde mi çalışıyor, bir sunucuda mı, ürettiğiniz ve yayınladığınız şeyden siz sorumlusunuz. Reşit olmayanlar içeren cinsel içerik hariç tutulmaya devam eder ve kamuya yönelik bir hizmet kendi yaş doğrulamasını sağlamalıdır.
Barındırılan seçeneğin gizliliği konusunda net bir gerçek: istemler model eğitimi için kullanılmaz. Geri kalanı için hassas veri göndermeden önce gizlilik politikasını okuyun. Bu konu sizin için belirleyiciyse, yerel seçenek en güvenli yoldur.
Taahhütsüz denemeye başlamak için API anahtarı alın sayfasından ödeme yöntemi gerektirmeden 0,50 $ deneme kredisi talep edin. Bu testi tamamladıktan sonra, yanıt kalitesinin daha ileri gitmeye veya yerelde kalmaya değer olup olmadığını bileceksiniz. Yükleme fiyatları fiyatlandırma sayfasında, kripto para (TRC20 üzerinde USDT veya Base üzerinde USDC) ile ödemelerle birlikte yer alır.
Diğer kılavuzlar
Sıkça sorulan sorular
Sansürsüz yerel bir LLM, bir API'den daha mı iyi?
Zaten öyle olmak zorunda değil. Gizlilik ve çevrimdışı kullanım için daha iyidir; sadelik, mütevazı donanımla kalite ve ölçeklendirme için daha zayıftır.
Yerelden API'ye geçiş yaparken kodu yeniden yazmam gerekir mi?
Evet, kodunuz OpenAI SDK'sını kullanıyorsa. Yalnızca temel URL'yi, anahtarı ve model adını değiştirmeniz yeterlidir.
Barındırılan API, prompt'larımı model eğitimi için saklıyor mu?
Hayır, prompt'lar eğitim için kullanılmaz.
Barındırılan API'nin fiyatı nedir?
Giriş için her milyon token başına 0,15 $ ve çıkış için her milyon başına 0,50 $, abonelik yok, süresi hiç dolmayan bir kredi ile.
Anahtarınız bir adım uzaktadır
Bir hesap oluşturun, anahtarı kopyalayın, temel URL'yi değiştirin. Hepsi bu.