LLM Non CensureHướng dẫn
LLM không kiểm duyệt: chạy local hay API?
Chạy LLM không kiểm duyệt tại nhà hoặc trả tiền cho API lưu trữ: cả hai đều hoạt động, và lựa chọn tốt phụ thuộc vào phần cứng, khối lượng và sự kiên nhẫn của bạn.


Điểm chính
Lựa chọn dưới dạng bảng
Một mô hình không kiểm duyệt có thể được sử dụng theo hai cách: bạn tải xuống trọng lượng của một mô hình trọng số mở và chạy nó trên máy của bạn, hoặc bạn gọi một mô hình đã được lưu trữ bởi người khác. Dưới đây là sự so sánh, không vòng vo.
| Tiêu chí | Cục bộ | API lưu trữ |
|---|---|---|
| Khởi động | Cài đặt, tải các mô hình lớn, cấu hình | Một khóa, một URL, một lệnh gọi |
| Phần cứng | GPU hoặc máy mạnh, tùy kích thước mô hình | Không cần, máy tính đơn giản là đủ |
| Chi phí | Mua phần cứng cộng điện năng | Thanh toán theo token, không đăng ký |
| Bảo mật | Dữ liệu ở lại với bạn | Prompt đi qua bên thứ ba |
| Ngoại tuyến | Có | Không |
| Bảo trì | Trách nhiệm của bạn: cập nhật, trình điều khiển, lượng hóa | Do nhà cung cấp lưu trữ đảm bảo |
| Mở rộng quy mô | Giới hạn bởi máy của bạn | Tối đa 8 yêu cầu đồng thời và 300 mỗi phút |
Khi nào local là lựa chọn tốt nhất
Giải pháp cục bộ là lựa chọn tốt hơn trong ba tình huống. Đầu tiên, khi tính bảo mật là ưu tiên tuyệt đối: các văn bản bạn không muốn gửi đến bất kỳ máy chủ nào. Thứ hai, khi bạn làm việc ngoại tuyến hoặc trên mạng đóng. Cuối cùng, khi bạn thích tự làm: chọn lượng hóa, thử mười biến thể mô hình, điều chỉnh tham số cấp thấp.
Các công cụ như Ollama, llama.cpp hoặc LM Studio làm cho bài tập này dễ tiếp cận, và một số thậm chí cung cấp API local tương thích OpenAI, cho phép bạn tái sử dụng cùng code. Tuy nhiên, kích thước mô hình bạn có thể tải phụ thuộc vào bộ nhớ GPU hoặc máy của bạn. Xem chi tiết mô hình và tài liệu công cụ để biết nhu cầu chính xác, chúng thay đổi rất nhiều.
Mặt trái: một mô hình local nhỏ thường viết kém hơn một mô hình lớn được lưu trữ, và tốc độ tạo phụ thuộc vào thiết bị của bạn. Cho đến khi bạn kiểm tra trên văn bản của mình, hãy cẩn thận với các so sánh có sẵn.
Khi nào API lưu trữ hợp lý hơn
API phù hợp khi bạn muốn kết quả nhanh, không cần mua hoặc cấu hình phần cứng. Đây cũng là trường hợp nếu bạn xây dựng sản phẩm cho người khác: ứng dụng truyện tương tác, trợ lý người lớn, công cụ nội bộ. Bạn không cần quản lý sự cố GPU hay cập nhật.
Dịch vụ mô tả ở đây là API tương thích OpenAI với một mô hình open-weight, uncensored, do nhà cung cấp độc lập vận hành và được điều chỉnh để phản hồi không từ chối nội dung trong khuôn khổ người lớn hợp pháp. Nó cung cấp cửa sổ ngữ cảnh 100 000 token, truyền phát (streaming), gọi hàm và chế độ JSON. Nó chỉ tạo văn bản, và nội dung khiêu dâm liên quan đến người chưa thành niên bị loại trừ. Hướng dẫn tích hợp AI không kiểm duyệt qua API chi tiết hóa việc thiết lập phía ứng dụng.
Tính toán chi phí để quyết định
Giá là 0,15 $ cho mỗi triệu token đầu vào và 0,50 $ cho mỗi triệu token đầu ra. Một yêu cầu với 1 000 token đầu vào và 500 token đầu ra tốn 1 000 × 0,15 / 1 000 000 + 500 × 0,50 / 1 000 000 = 0,00015 + 0,00025 = 0,0004 $.
Hãy tưởng tượng, chỉ để so sánh, bạn mua một máy chủ giá 1 000 $ chỉ cho nhu cầu này. Số tiền đó tương đương 1 000 / 0,0004 = 2 500 000 yêu cầu có kích thước tương tự qua API, chưa tính điện và thời gian bảo trì tại chỗ của bạn. Nếu bạn chỉ dùng vài nghìn yêu cầu mỗi tháng, API rẻ hơn nhiều. Nếu bạn chạy hàng triệu yêu cầu liên tục, việc tính toán có thể đảo ngược, đặc biệt nếu máy chủ đó còn phục vụ các mục đích khác.
Nếu bạn đã có GPU phù hợp, chi phí biên cho việc chạy local chỉ giới hạn ở điện năng, và API trở thành một tùy chọn dự phòng hoặc để mở rộng quy mô. Hãy tự tính toán với các số liệu thực tế của bạn: khối lượng thực tế, kích thước prompt, giá phần cứng và điện năng tại nơi bạn ở.
Viết code hoạt động được ở cả hai trường hợp
Vì API tuân theo định dạng OpenAI, bạn có thể viết code một lần và thay đổi nhà cung cấp chỉ bằng cách cấu hình. Dưới đây là một client đọc URL, khóa và mô hình từ biến môi trường, với API mặc định được cung cấp bởi nhà cung cấp.
import os
from openai import OpenAI
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.llmnoncensure.com/v1"),
api_key=os.getenv("LLM_API_KEY", "VOTRE_CLE"),
)
MODELE = os.getenv("LLM_MODEL", "uncensored")
def demander(texte):
r = client.chat.completions.create(
model=MODELE,
messages=[{"role": "user", "content": texte}],
temperature=0.8,
)
return r.choices[0].message.content
print(demander("Propose trois idées de nouvelles noires, une phrase chacune."))
Để chuyển sang chế độ cục bộ, bạn chỉ cần đặt LLM_BASE_URL, LLM_API_KEY và LLM_MODEL theo những gì máy chủ cục bộ của bạn yêu cầu. Tên của các mô hình cục bộ khác nhau và phụ thuộc vào những gì bạn đã cài đặt: hãy kiểm tra chúng trong tài liệu của công cụ. Sự tách biệt này giúp bạn không bị khóa chặt vào một lựa chọn duy nhất. Xem thêm tài liệu API cho các endpoint /v1/chat/completions và /v1/responses.
Cách tiếp cận lai, thường hợp lý nhất
Không có gì bắt buộc bạn phải chọn một phe. Nhiều nhà phát triển kết hợp cả hai:
- Local cho công việc riêng tư: bản nháp, ghi chú, văn bản bạn không muốn gửi đi nơi khác.
- API cho chất lượng hoặc tải cao: các đỉnh tải, bản demo, thử nghiệm với người dùng, các tác vụ dài làm đầy tài nguyên máy của bạn.
- API để xây dựng nguyên mẫu : bạn xác nhận ý tưởng trong một giờ, sau đó quyết định xem triển khai local có đáng giá hay không.
Để mở rộng quy mô, hãy nhớ các giới hạn: một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút; một khóa dùng thử cho phép 2 và 60. Vượt quá giới hạn, API sẽ trả về mã 429 với lỗi rate_limited hoặc concurrency. Một client được viết tốt sẽ chờ đợi và thử lại thay vì bị lỗi.
Một mốc ngân sách cuối cùng: 20 $ nạp tiền bao gồm 20 / 0,0004 = 50 000 yêu cầu có kích thước trung bình như trên, và 100 $ mang lại 110 $ tín dụng với khoản bonus 10%, tương đương 275 000 yêu cầu. Các yêu cầu bị lỗi hoặc từ chối sẽ không bị tính phí. Với những con số này, việc so sánh với chi phí phần cứng và điện năng thực tế của bạn chỉ là một bài toán tính toán đơn giản.
Những điều không thay đổi ở cả hai phương án
Một mô hình không từ chối về nguyên tắc không miễn trừ bạn khỏi luật pháp hay lý trí thông thường. Dù mô hình chạy tại chỗ hay trên máy chủ, bạn vẫn chịu trách nhiệm về những gì bạn tạo ra và công bố. Nội dung khiêu dâm liên quan đến người chưa thành niên vẫn bị loại trừ, và một dịch vụ công cộng cần có cơ chế xác minh độ tuổi riêng.
Về tính bảo mật của tùy chọn lưu trữ, một sự thật cụ thể: các prompt không được sử dụng để huấn luyện mô hình. Để biết thêm, hãy đọc chính sách bảo mật trước khi gửi dữ liệu nhạy cảm. Nếu điểm này là yếu tố quyết định với bạn, giải pháp local là lựa chọn an toàn nhất.
Để bắt đầu dùng thử không ràng buộc, hãy yêu cầu 0,50 $ tín dụng dùng thử trên trang lấy khóa API, không cần phương thức thanh toán. Sau khi hoàn tất thử nghiệm này, bạn sẽ biết liệu chất lượng phản hồi có đáng để tiếp tục hay không, hay nên giữ nguyên tại local. Bảng giá nạp tiền có trên trang giá cả, hỗ trợ thanh toán bằng tiền mã hóa (USDT trên TRC20 hoặc USDC trên Base).
Các hướng dẫn khác
Câu hỏi thường gặp
LLM không kiểm duyệt tại chỗ có tốt hơn API không?
Không hẳn. Nó tốt hơn về tính bảo mật và hoạt động ngoại tuyến, nhưng kém hơn về sự đơn giản, chất lượng trên phần cứng khiêm tốn và khả năng mở rộng quy mô.
Tôi có thể chuyển từ local sang API mà không cần viết lại code không?
Có, nếu code của bạn sử dụng SDK OpenAI. Bạn chỉ cần thay đổi URL cơ sở, khóa và tên mô hình.
API được cung cấp có giữ lại các prompt của tôi để huấn luyện mô hình không?
Không, các prompt không được dùng để huấn luyện.
Giá của API được cung cấp là bao nhiêu?
0,15 $ cho mỗi triệu token đầu vào và 0,50 $ cho mỗi triệu token đầu ra, không có gói đăng ký, với tín dụng không bao giờ hết hạn.
Khóa của bạn chỉ cách một bước
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Thế là xong.