LLM uncensoredคู่มือ
LLM แบบไม่เซ็นเซอร์: ติดตั้งเองหรือใช้ API แบบโฮสต์
การรัน LLM แบบไม่เซ็นเซอร์ที่บ้านหรือจ่ายสำหรับ API แบบโฮสต์: ทั้งสองเส้นทางใช้งานได้ และการเลือกที่ถูกต้องขึ้นอยู่กับฮาร์ดแวร์, ปริมาณงานและความอดทนของคุณ


จุดสำคัญ
การเปรียบเทียบแบบตาราง
LLM แบบไม่เซ็นเซอร์ สามารถรับได้สองวิธี : คุณดาวน์โหลดน้ำหนักของโมเดลแบบเปิดแล้วรันบนเครื่องของคุณ หรือคุณเรียกใช้โมเดลที่โฮสต์โดยผู้อื่นอยู่แล้ว นี่คือคำเปรียบเทียบอย่างตรงไปตรงมา
| เกณฑ์ | ในเครื่อง | API ที่โฮสต์ |
|---|---|---|
| การเริ่มต้นใช้งาน | การติดตั้ง, ดาวน์โหลดโมเดล, การตั้งค่า | คีย์ API, URL, การเรียกใช้ |
| ฮาร์ดแวร์ | GPU หรือเครื่องที่ทรงพลัง ตามขนาดของโมเดล | ไม่มี, ใช้คอมพิวเตอร์ทั่วไปก็เพียงพอ |
| ต้นทุน | ค่าซื้อฮาร์ดแวร์และค่าไฟฟ้า | ชำระตามโทเคน ไม่มีแพ็กเกจรายเดือน |
| ความเป็นส่วนตัว | ข้อมูลอยู่ในมือคุณ | พรอมต์ผ่านบุคคลที่สาม |
| ออฟไลน์ | ใช่ | ไม่ |
| การบำรุงรักษา | คุณรับผิดชอบ: อัปเดต ไดรเวอร์ การควอนไทซ์ | ผู้ให้บริการโฮสติ้งรับผิดชอบ |
| การปรับขนาด | จำกัดโดยเครื่องของคุณ | สูงสุด 8 คำขอพร้อมกันและ 300 คำขอต่อนาที |
เมื่อแบบโลคอลเป็นทางเลือกที่ดีที่สุด
แบบโลคอลชนะในสามสถานการณ์ ก่อนอื่น เมื่อความเป็นส่วนตัวสำคัญที่สุด: ข้อความที่คุณไม่ต้องการส่งไปยังเซิร์ฟเวอร์ใดเลย ถัดไป เมื่อคุณทำงานแบบออฟไลน์หรือบนเครือข่ายปิด สุดท้าย เมื่อคุณชอบปรับแต่ง: เลือกการควอนไทซ์ของคุณ ทดสอบโมเดลสิบแบบ ปรับพารามิเตอร์ระดับต่ำ
เครื่องมือเช่น Ollama, llama.cpp หรือ LM Studio ทำให้การทดลองนี้เข้าถึงได้ และหลายตัวเปิดเผย API โลคอลที่เข้ากันได้กับ OpenAI ซึ่งทำให้คุณสามารถนำโค้ดเดิมกลับมาใช้ใหม่ได้ อย่างไรก็ตาม ขนาดโมเดลที่คุณโหลดได้ขึ้นอยู่กับหน่วยความจำ GPU หรือเครื่องของคุณ ดูข้อมูลจำเพาะของโมเดลแต่ละตัวและเอกสารประกอบของเครื่องมือเพื่อดูความต้องการที่แน่นอน ซึ่งมีความแตกต่างกันมาก
ข้อเสีย: โมเดลโลคอลขนาดเล็กโดยทั่วไปเขียนได้แย่กว่าโมเดลขนาดใหญ่ที่โฮสต์ และความเร็วในการสร้างขึ้นอยู่กับอุปกรณ์ของคุณ จนกว่าคุณจะทดสอบกับข้อความของคุณเอง ให้ระวังการเปรียบเทียบที่ตายตัว
เมื่อ API ที่โฮสต์สมเหตุสมผลกว่า
API เหมาะสมเมื่อคุณต้องการผลลัพธ์อย่างรวดเร็วโดยไม่ต้องซื้อหรือกำหนดค่าฮาร์ดแวร์ กรณีนี้ยังรวมถึงการสร้างผลิตภัณฑ์สำหรับผู้อื่น: แอปพลิเคชันนิยายแบบอินเทอร์แอคทีฟ เพื่อนสำหรับผู้ใหญ่ หรือเครื่องมือภายใน คุณไม่ต้องจัดการกับ GPU ล่มหรือการอัปเดต
บริการที่อธิบายในหน้านี้คือ API ที่เข้ากันได้กับ OpenAI โดยมีโมเดล open-weight เพียงตัวเดียว คือ uncensored ซึ่งดำเนินการโดยผู้ให้บริการอิสระ และถูกตั้งค่าให้ตอบกลับโดยไม่ปฏิเสธเนื้อหาภายในกรอบของผู้ใหญ่ที่ถูกต้องตามกฎหมาย มันให้หน้าต่างบริบทขนาด 100 000 โทเคน การสตรีมมิง การเรียกใช้ฟังก์ชัน และโหมด JSON มันผลิตเฉพาะข้อความ และเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์จะถูกตัดออก คู่มือ การผสานรวม AI แบบไม่เซ็นเซอร์ผ่าน API อธิบายรายละเอียดการตั้งค่าฝั่งแอปพลิเคชัน
การคำนวณต้นทุนเพื่อตัดสินใจ
อัตราค่าบริการคือ 0,15 $ ต่อล้านโทเคนสำหรับอินพุต และ 0,50 $ ต่อล้านโทเคนสำหรับเอาต์พุต คำขอขนาด 1 000 โทเคนสำหรับอินพุตและ 500 โทเคนสำหรับเอาต์พุตมีค่าใช้จ่าย 1 000 × 0,15 / 1 000 000 + 500 × 0,50 / 1 000 000 = 0,00015 + 0,00025 = 0,0004 $
สมมติว่าคุณกำลังพิจารณาซื้อเครื่องราคา 1 000 $ เฉพาะสำหรับความต้องการนี้ จำนวนเงินนี้เท่ากับ 1 000 / 0,0004 = 2 500 000 คำขอขนาดนี้ผ่าน API โดยยังไม่รวมค่าไฟฟ้าและเวลาบำรุงรักษาของคุณแบบโลคอล หากการใช้งานของคุณอยู่ที่หลักพันคำขอต่อเดือน API ยังคงมีต้นทุนต่ำกว่ามาก หากคุณส่งคำขอหลายล้านอย่างต่อเนื่อง การคำนวณอาจกลับด้าน โดยเฉพาะหากเครื่องยังใช้สำหรับงานอื่น
หากคุณมี GPU ที่เหมาะสมอยู่แล้ว ต้นทุนส่วนเพิ่มของแบบโลคอลจะจำกัดอยู่ที่ค่าไฟฟ้า และ API จะเป็นตัวเลือกสำรองหรือสำหรับการปรับขนาดเท่านั้น ทำการคำนวณนี้ด้วยตัวเลขของคุณเอง: ปริมาณจริง ขนาดพรอมต์ ราคาฮาร์ดแวร์และพลังงานของคุณ
เขียนโค้ดที่ทำงานได้ในทั้งสองกรณี
เนื่องจาก API ใช้รูปแบบ OpenAI คุณสามารถเขียนโค้ดครั้งเดียวและเปลี่ยนผู้ให้บริการโฮสติ้งผ่านการกำหนดค่า นี่คือไคลเอนต์ที่อ่าน URL คีย์ และโมเดลจากสภาพแวดล้อม โดยค่าเริ่มต้นใช้ API ที่โฮสต์
import os
from openai import OpenAI
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.llmnoncensure.com/v1"),
api_key=os.getenv("LLM_API_KEY", "VOTRE_CLE"),
)
MODELE = os.getenv("LLM_MODEL", "uncensored")
def demander(texte):
r = client.chat.completions.create(
model=MODELE,
messages=[{"role": "user", "content": texte}],
temperature=0.8,
)
return r.choices[0].message.content
print(demander("Propose trois idées de nouvelles noires, une phrase chacune."))
เพื่อเปลี่ยนไปใช้แบบโลคอล ให้ตั้งค่า LLM_BASE_URL, LLM_API_KEY และ LLM_MODEL ตามที่เซิร์ฟเวอร์โลคอลของคุณต้องการ ชื่อโมเดลโลคอลจะแตกต่างกันและขึ้นอยู่กับสิ่งที่คุณติดตั้ง: โปรดตรวจสอบในเอกสารประกอบของเครื่องมือ การแยกส่วนนี้ช่วยให้คุณไม่ต้องถูกจำกัดอยู่ในทางเลือกเดียว ดูเพิ่มเติมที่ เอกสาร API สำหรับเส้นทาง /v1/chat/completions และ /v1/responses
แนวทางแบบไฮบริด ซึ่งมักจะเป็นทางเลือกที่สมเหตุสมผลที่สุด
ไม่มีข้อบังคับให้เลือกเพียงฝั่งใดฝั่งหนึ่ง ผู้พัฒนาจำนวนมากจึงใช้ทั้งสองอย่างร่วมกัน:
- ใช้แบบโลคอลสำหรับงานส่วนตัว: ร่างเอกสาร, บันทึก, ข้อความที่คุณไม่ต้องการส่งไปยังที่อื่น
- ใช้ API สำหรับคุณภาพหรือภาระงาน: ช่วงการใช้งานสูงสุด, การสาธิต, การทดสอบกับผู้ใช้, งานระยะยาวที่ทำให้เครื่องของคุณทำงานหนัก
- ใช้ API สำหรับการสร้างต้นแบบ: คุณตรวจสอบแนวคิดภายในหนึ่งชั่วโมง จากนั้นจึงตัดสินใจว่าการปรับใช้แบบโลคอลมีความเหมาะสมหรือไม่
สำหรับการปรับขนาด ให้ทราบถึงขีดจำกัด: คีย์แบบเต็มอนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที ส่วนคีย์ทดลองใช้ทำได้ 2 และ 60 ตามลำดับ เมื่อเกินขีดจำกัด API จะตอบกลับด้วยสถานะ 429 พร้อมรหัส rate_limited หรือ concurrency ไคลเอนต์ที่เขียนมาอย่างดีจะรอและลองใหม่แทนที่จะล้มเหลว
ตัวชี้วัดงบประมาณสุดท้าย: การเติมเงิน $20ครอบคลุมคำขอขนาดมาตรฐานข้างต้นได้ 20 / 0,0004 = 50,000 คำขอ และ $100 ให้เครดิต $110พร้อมโบนัส 10% ซึ่งเท่ากับ 275,000 คำขอ คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน ด้วยตัวเลขเหล่านี้ การเปรียบเทียบกับต้นทุนจริงของฮาร์ดแวร์และพลังงานจึงเป็นเพียงการคำนวณง่ายๆ
สิ่งที่ทั้งสองแนวทางนี้ไม่เปลี่ยนแปลง
โมเดลที่ไม่มีข้อห้ามโดยหลักการไม่ได้หมายความว่าคุณจะพ้นจากความรับผิดชอบทางกฎหมายหรือไม่ต้องใช้เหตุผล ไม่ว่าโมเดลจะทำงานบนเครื่องของคุณหรือบนเซิร์ฟเวอร์ คุณเป็นผู้รับผิดชอบเนื้อหาที่สร้างขึ้นและเผยแพร่ เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ยังคงถูกยกเว้น และบริการที่มุ่งสู่สาธารณะต้องมีการตรวจสอบอายุของตัวเอง
เกี่ยวกับความเป็นส่วนตัวของตัวเลือกแบบโฮสต์ ข้อเท็จจริงที่ชัดเจนคือ: พรอมต์ไม่ถูกนำไปใช้เพื่อฝึกโมเดล สำหรับส่วนอื่นๆ โปรดอ่าน นโยบายความเป็นส่วนตัว ก่อนส่งข้อมูลสำคัญ หากประเด็นนี้เป็นสิ่งสำคัญสำหรับคุณ การเลือกแบบโลคอลเป็นทางเลือกที่ปลอดภัยที่สุด
เพื่อเริ่มต้นทดลองใช้โดยไม่ต้องผูกมัด ขอเครดิตทดลองใช้ $0.50ได้ที่หน้า รับคีย์ API โดยไม่ต้องใช้วิธีการชำระเงิน เมื่อทดสอบเสร็จแล้ว คุณจะทราบว่าคุณภาพของคำตอบคุ้มค่าที่จะใช้งานต่อ หรือควรใช้แบบโลคอลเพียงอย่างเดียว ราคาการเติมเงินอยู่ที่หน้า ราคา พร้อมการชำระเงินด้วยคริปโต (USDT บน TRC20 หรือ USDC บน Base)
คู่มืออื่นๆ
คำถามที่พบบ่อย
LLM แบบโลคัลที่ไม่มีการเซ็นเซอร์ดีกว่า API หรือไม่?
ไม่จำเป็นเสมอไป มันดีกว่าในแง่ความเป็นส่วนตัวและการทำงานออฟไลน์ แต่ด้อยกว่าในแง่ความเรียบง่าย คุณภาพเมื่อใช้ฮาร์ดแวร์ระดับต่ำ และการปรับขนาด
ฉันสามารถเปลี่ยนจากแบบโลคัลเป็น API โดยไม่ต้องเขียนโค้ดใหม่ได้หรือไม่?
ได้ หากโค้ดของคุณใช้ SDK ของ OpenAI เพียงแค่แก้ไข URL ฐาน คีย์ และชื่อโมเดล
API แบบโฮสต์เก็บพรอมต์ของฉันไว้เพื่อฝึกโมเดลหรือไม่?
ไม่ พรอมต์ไม่ถูกนำไปใช้สำหรับการฝึก
ราคาของ API แบบโฮสต์คือเท่าใด?
0.15 $ ต่อโทเคนอินพุตล้านตัวและ 0.50 $ ต่อโทเคนเอาต์พุตล้านตัว ไม่มีสมาชิกภาพ เครดิตไม่หมดอายุ
คีย์ของคุณอยู่ห่างออกไปเพียงขั้นตอนเดียว
สร้างบัญชี คัดลอกคีย์ แก้ไข Base URL แค่นี้ก็พอ