HI ▾
API कुंजी प्राप्त करें

LLM Non Censureगाइड

बिना सेंसर LLM: स्थानीय या होस्टेड API, क्या चुनें

स्थानीय रूप से बिना सेंसर LLM चलाना या होस्टेड API का भुगतान करना: दोनों रास्ते काम करते हैं, और सही चयन आपके हार्डवेयर, वॉल्यूम और धैर्य पर निर्भर करता है।

बिना सेंसर AI: API एकीकरण स्टेप-बाय-स्टेड गाइड

अंतिम अद्ययन

स्थानीय कंप्यूटर और क्लाउड में होस्टेड सर्वर की तुलना करने वाला बैलेंस, एक LLM चुनने के लिए

मुख्य बिंदु

एक तालिका में चयन

एक बिना सेंसर LLM दो तरीकों से प्राप्त किया जा सकता है: आप एक ओपन-वेट मॉडल के वेट्स डाउनलोड करते हैं और उन्हें अपनी मशीन पर चलाते हैं, या आप किसी अन्य व्यक्ति द्वारा होस्ट किए गए मॉडल को कॉल करते हैं। यहाँ तुलना, बिना किसी झंझाट के।

मापदंडस्थानीयहोस्टेड API
शुरुआतइंस्टॉलेशन, बड़े मॉडल डाउनलोड, सेटअपएक कुंजी, एक URL, एक कॉल
हार्डवेयरमॉडल के आकार के आधार पर GPU या शक्तिशाली मशीनकोई नहीं, एक साधारण कंप्यूटर पर्याप्त है
लागतहार्डवेयर खरीदना और बिजली का खर्चटोकन के आधार पर भुगतान, कोई सदस्यता नहीं
गोपनीयताडेटा आपके पास ही रहता हैप्रॉम्प्ट एक तृतीय पक्ष से गुजरते हैं
ऑफ़लाइनहाँनहीं
रखरखावआपकी ज़िम्मेदारी: अपडेट, ड्राइवर, क्वांटीकरणहोस्टिंग प्रदाता द्वारा सुनिश्चित
स्केलेबिलिटीआपकी मशीन द्वारा सीमितअधिकतम 8 समानांतर अनुरोध और प्रति मिनट 300

जब स्थानीय मॉडल सबसे अच्छा विकल्प होता है

लोकल तीन स्थितियों में बेहतर है। सबसे पहले, जब गोपनीयता सर्वोपरि हो: वे टेक्स्ट जिन्हें आप किसी भी सर्वर पर भेजना नहीं चाहते। फिर, जब आप ऑफ़लाइन काम करते हैं या एक बंद नेटवर्क पर हैं। अंत में, जब आपको टिंकर करने में मज़ा आता है: अपना क्वांटीकरण चुनना, मॉडल के दस वैरिएंट का परीक्षण करना, लो-लेवल पैरामीटर एडजस्ट करना।

Ollama, llama.cpp या LM Studio जैसे टूल्स इस अनुभव को सुलभ बनाते हैं, और कई एक OpenAI-संगत लोकल API भी प्रदान करते हैं, जिससे आप वही कोड पुनः उपयोग कर सकते हैं। हालाँकि, आप जो मॉडल लोड कर सकते हैं उसका आकार आपके GPU या मशीन की मेमोरी पर निर्भर करता है। सटीक आवश्यकताओं के लिए प्रत्येक मॉडल की स्पेसिफिकेशन और टूल की दस्तावेज़ीकरण देखें, वे काफी भिन्न होती हैं।

दूसरा पक्ष: एक छोटा लोकल मॉडल सामान्यतः एक बड़े होस्टेड मॉडल की तुलना में कम अच्छा लिखता है, और जनरेशन की गति आपकी उपकरणों पर निर्भर करती है। जब तक आपने अपने स्वयं के टेक्स्ट पर परीक्षण नहीं कर लिया, तब तक तैयार तुलनाओं से सावधान रहें।

जब होस्टेड API अधिक उचित है

API तब उपयुक्त है जब आप बिना हार्डवेयर खरीदे या कॉन्फ़िगर किए त्वरित परिणाम चाहते हैं। यह तब भी मामला है यदि आप किसी अन्य के लिए उत्पाद बना रहे हों: एक इंटरैक्टिव फिक्शन ऐप, वयस्कों के लिए एक साथी, या एक आंतरिक टूल। आपको GPU खराब होने या अपडेट की चिंता नहीं करनी पड़ती।

यहाँ वर्णित सेवा एक OpenAI-संगत API है जिसमें एक ही ओपन-वेट मॉडल, uncensored, एक स्वतंत्र प्रदाता द्वारा संचालित है और इसे कानूनी वयस्क संदर्भ में बिना सामग्री अस्वीकृति के उत्तर देने के लिए कॉन्फ़िगर किया गया है। यह 100 000 टोकन की विंडो, स्ट्रीमिंग, फ़ंक्शन कॉलिंग और JSON मोड प्रदान करता है। यह केवल टेक्स्ट जनरेट करता है, और नाबालिगों से जुड़ी यौन सामग्री सख्त रूप से प्रतिबंधित है। API द्वारा बिना सेंसर AI एकीकृत करना गाइड ऐप्लिकेशन पक्ष पर सेटअप का विवरण देता है।

निर्णय लेने के लिए लागत की गणना

दर इनपुट के लिए प्रति मिलियन टोकन 0,15 $ और आउटपुट के लिए प्रति मिलियन 0,50 $ है। 1 000 इनपुट टोकन और 500 आउटपुट टोकन वाले एक अनुरोध की लागत 1 000 × 0,15 / 1 000 000 + 500 × 0,50 / 1 000 000 = 0,00015 + 0,00025 = 0,0004 $ है।

कल्पना कीजिए, एक परिकल्पना के रूप में, कि आप इस आवश्यकता के लिए केवल 1 000 $ की एक मशीन खरीदने पर विचार कर रहे हैं। यह राशि API पर इस आकार के 2 500 000 अनुरोधों के बराबर है (1 000 / 0,0004), बिजली या आपके लोकल पक्ष पर रखरखाव के समय को छोड़कर। यदि आपका उपयोग महीने में कुछ हज़ार अनुरोधों के आसपास है, तो API लागत बहुत कम रहती है। यदि आप लगातार लाखों अनुरोध चलाते हैं, तो गणना उलट सकती है, खासकर यदि मशीन किसी अन्य कार्य के लिए भी काम आती है।

यदि आपके पास पहले से एक उपयुक्त GPU है, तो लोकल की सीमांत लागत केवल बिजली तक सीमित है, और API मुख्य रूप से एक बैकअप या स्केलेबिलिटी विकल्प बन जाती है। अपने स्वयं के आंकड़ों के साथ यह गणना करें: वास्तविक वॉल्यूम, प्रॉम्प्ट का आकार, और आपके यहाँ हार्डवेयर और ऊर्जा की लागत।

दोनों मामलों में काम करने वाला कोड लिखना

चूंकि API OpenAI फॉर्मेट का पालन करती है, आप एक बार कोड लिख सकते हैं और कॉन्फ़िगरेशन से होस्टिंग बदल सकते हैं। यहाँ एक क्लाइंट है जो एनवायरनमेंट से URL, कुंजी और मॉडल पढ़ता है, डिफ़ॉल्ट होस्टेड API के साथ।

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.llmnoncensure.com/v1"),
    api_key=os.getenv("LLM_API_KEY", "VOTRE_CLE"),
)
MODELE = os.getenv("LLM_MODEL", "uncensored")

def demander(texte):
    r = client.chat.completions.create(
        model=MODELE,
        messages=[{"role": "user", "content": texte}],
        temperature=0.8,
    )
    return r.choices[0].message.content

print(demander("Propose trois idées de nouvelles noires, une phrase chacune."))

स्थानीय सर्वर का उपयोग करने के लिए, आपको LLM_BASE_URL, LLM_API_KEY और LLM_MODEL को अपने स्थानीय सर्वर की आवश्यकताओं के अनुसार सेट करना पर्याप्त है। स्थानीय मॉडल के नाम अलग होते हैं और इस बात पर निर्भर करते हैं कि आपने क्या इंस्टॉल किया है: उन्हें टूल की दस्तावेज़ में जाँचें। यह अलगा आपको किसी एक विकल्प में फँसने से बचाता है। API दस्तावेज़ भी देखें, विशेष रूप से /v1/chat/completions और /v1/responses रूट्स के लिए।

हाइब्रिड दृष्टिकोण, अक्सर सबसे उचित

किसी एक पक्ष का चयन करना अनिवार्य नहीं है। कई डेवलपर दोनों का संयोजन करते हैं:

  • निजी कार्य के लिए स्थानीय: ड्राफ़्ट, नोट्स, और वे टेक्स्ट जिन्हें आप किसी अन्य स्थान पर भेजना नहीं चाहते।
  • गुणवत्ता या भार के लिए API: उपयोग के शिखर, डेमो, उपयोगकर्ताओं के साथ परीक्षण, और आपके मशीन को संतृप्त करने वाली लंबी कार्यप्रक्रियाएँ।
  • प्रोटोटाइपिंग के लिए API: आप एक घंटे में विचार को सत्यापित करते हैं, और फिर निर्णय लेते हैं कि क्या स्थानीय तैनाती औचित्यपूर्ण है।

लोड बढ़ाने के लिए, सीमाओं को याद रखें: एक पूर्ण कुंजी 8 समानांतर अनुरोधों और प्रति मिनट 300 की अनुमति देती है, एक ट्रायल कुंजी 2 और 60 की। उससे अधिक होने पर, API 429 प्रतिक्रिया देता है rate_limited या concurrency कोड के साथ। एक अच्छी तरह से लिखा गया क्लाइंट क्रैश होने के बजाय प्रतीक्षा करता है और पुनः प्रयास करता है।

बजट का एक अंतिम संकेत: $20 की रीचार्ज ऊपर बताए गए आकार के 50,000 अनुरोधों को कवर करती है ($20 / 0,0004 = 50,000), और $100 10% बोनस के साथ $110 का क्रेडिट देते हैं, यानी 275,000 अनुरोध। असफल या अस्वीकृत अनुरोधों के लिए शुल्क नहीं लगाया जाता है। इन आँकड़ों के साथ, आपकी वास्तविक हार्डवेयर और ऊर्जा लागत से तुलना करना एक सरल गणितीय अभ्यास बन जाता है।

दोनों मार्गों में जो कुछ भी नहीं बदलता

एक बिना सिद्धांत-आधारित अस्वीकृति वाला मॉडल आपको कानून या विवेक से बचा नहीं देता। चाहे मॉडल आपके पास हो या सर्वर पर, आप जो उत्पन्न और प्रकाशित करते हैं, उसके लिए आप उत्तरदायी हैं। नाबालिगों से संबंधित यौन सामग्री अभी भी अपवर्जित है, और जनता के लिए एक सेवा को अपनी उम्र की जाँच व्यवस्था करनी चाहिए।

होस्टेड विकल्प की गोपनीयता पर, एक सटीक तथ्य: प्रॉम्प्ट्स को मॉडल प्रशिक्षण के लिए उपयोग नहीं किया जाता है। शेष के लिए, संवेदनशील डेटा भेजने से पहले गोपनीयता नीति पढ़ें। यदि यह बिंदु आपके लिए निर्णायक है, तो स्थानीय सबसे सुरक्षित विकल्प है।

बिना प्रतिबद्धता के परीक्षण शुरू करने के लिए, API कुंजी प्राप्त करें पेज पर $0,50 का ट्रायल क्रेडिट प्राप्त करें, बिना भुगतान विधि के। इस परीक्षण के बाद, आप जानेंगे कि क्या उत्तर की गुणवत्ता आगे बढ़ाने के लिए औचित्यपूर्ण है, या स्थानीय रहना है। टॉप-अप दरें दरें पेज पर हैं, क्रिप्टो (TRC20 पर USDT या Base पर USDC) के साथ भुगतान के साथ।

अन्य गाइड

अक्सर पूछे जाने वाले प्रश्न

क्या एक बिना सेंसर स्थानीय LLM API से बेहतर है?

ज़रूरी नहीं। यह गोपनीयता और ऑफ़लाइन के लिए बेहतर है, सरलता, कम हार्डवेयर पर गुणवत्ता और लोड बढ़ाने के लिए कम बेहतर।

क्या मैं बिना कोड बदले स्थानीय से API पर स्विच कर सकता हूँ?

हाँ, अगर आपका कोड OpenAI SDK का उपयोग करता है। आपको बेस URL, कुंजी और मॉडल का नाम बदलने की आवश्यकता होती है।

क्या होस्टेड API मेरे प्रॉम्प्ट्स को मॉडल के ट्रेनिंग के लिए रखती है?

नहीं, प्रॉम्प्ट्स प्रशिक्षण के लिए उपयोग नहीं किए जाते हैं।

होस्टेड API का क्या मूल्य है?

इनपुट के लिए प्रति मिलियन टोकन $0.15 और आउटपुट के लिए प्रति मिलियन $0.50, कोई सदस्यता नहीं, जिसका क्रेडिट कभी नहीं खत्म होता।

आपकी कुंजी एक कदम दूर है

एक खाता बनाएं, कुंजी कॉपी करें, बेस URL बदलें। बस इतना ही।

API कुंजी प्राप्त करेंदस्तावेज़ पढ़ें