KO ▾
API 키 받기

LLM Non Censure가이드

무검열 LLM: 로컬 또는 호스팅 API, 어떤 것을 선택할까

로컬에서 검열 없는 LLM을 실행하거나 호스팅 API를 사용하는 두 가지 경로 모두 유효하며, 올바른 선택은 하드웨어, 사용량 및 인내에 따라 달라집니다.

무검열 AI: API 통합 단계별 가이드

업데이트됨

로컬 컴퓨터와 클라우드 호스팅 서버를 비교하여 LLM을 선택하는 모습

주요 포인트

선택을 위한 표

무검열 LLM은 두 가지 방법으로 얻을 수 있습니다. 오픈 웨이트 모델의 가중치를 다운로드하여 로컬에서 실행하거나, 타사가 이미 호스팅하는 모델에 API 호출을 하는 것입니다. 명확한 비교를 위해 아래 내용을 참고하세요.

기준로컬호스팅 API
시작설치, 무거운 파일 다운로드, 설정API 키, URL, 호출
하드웨어모델 크기에 따른 GPU 또는 고성능 머신없음, 일반 컴퓨터면 충분함
비용하드웨어 구매 및 전기 요금구독 없이 토큰 단위 결제
프라이버시데이터가 로컬에 유지됨프롬프트가 제3자를 거침
오프라인예아니요
유지보수사용자 책임: 업데이트, 드라이버, 양자화호스트가 보장
확장성사용자 머신에 의해 제한됨최대 8개 동시 요청 및 분당 300개

로컬이 최선의 선택인 경우

로컬은 세 가지 상황에서 우위를 점합니다. 첫째, 기밀성이 최우선일 때: 어떤 서버로도 보내고 싶지 않은 텍스트입니다. 둘째, 오프라인이나 폐쇄형 네트워크에서 작업할 때입니다. 마지막으로, 직접 만지는 것을 좋아할 때입니다: 양자화를 선택하고, 모델의 10가지 변형을 테스트하며, 저수준 매개변수를 조정합니다.

Ollama, llama.cpp 또는 LM Studio와 같은 도구는 이 작업을 부담 없이 수행할 수 있게 하며, 심지어 OpenAI 호환 로컬 API를 지원하여 동일한 코드를 재사용할 수 있게 합니다. 다만, 로드할 수 있는 모델의 크기는 GPU 또는 머신의 메모리에 따라 달라집니다. 정확한 요구 사항을 확인하려면 각 모델의 사양과 도구 문서를 참조하십시오. 요구 사항은 매우 다양합니다.

단점은 작은 로컬 모델이 일반적으로 큰 호스팅 모델보다 생성 품질이 낮고, 생성 속도가 사용자 장비에 의존한다는 것입니다. 자체 텍스트로 직접 테스트해 보기 전까지 기존 비교에 맹신하지 마세요.

호스팅 API가 더 합리적인 경우

하드웨어 구매 및 구성 없이 빠른 결과를 원할 때 API가 적합합니다. 또한 타인을 위한 제품을 구축할 때도 유용합니다: 인터랙티브 픽션 앱, 성인용 컴패니언, 내부 도구 등. GPU 고장이나 업데이트를 관리할 필요가 없습니다.

여기서 설명하는 서비스는 단일 오픈 웨이트 모델 uncensored을 사용하는 OpenAI 호환 API입니다. 독립적인 공급자가 운영하며 성인 법적 틀 내에서 콘텐츠 거절 없이 응답하도록 설정되었습니다. 100 000 토큰의 컨텍스트 창, 스트리밍, 함수 호출, JSON 모드를 제공합니다. 텍스트만 생성하며, 미성년자가 포함된 성적 콘텐츠는 제외됩니다. API를 통한 무검열 AI 통합 가이드는 애플리케이션 측 설정 방법을 자세히 설명합니다.

비용 계산을 통한 결정

요금은 입력 토큰 100만 개당 0,15 $, 출력 토큰 100만 개당 0,50 $입니다. 입력 1 000 토큰, 출력 500 토큰의 요청 비용은 1 000 × 0,15 / 1 000 000 + 500 × 0,50 / 1 000 000 = 0,00015 + 0,00025 = 0,0004 $입니다.

가정해 봅시다. 이 용도만을 위해 $1,000짜리 머신을 구매한다고 하면, 이 금액은 1,000 / 0.0004 = 2,500,000개의 위와 같은 크기의 API 요청을 처리할 수 있습니다. 여기에 전기 요금과 로컬 유지보수 시간 비용은 포함되지 않았습니다. 월간 몇 천 건의 요청을 사용한다면 API가 훨씬 저렴합니다. 수백만 건을 연속으로 실행한다면 계산이 역전될 수 있으며, 특히 머신이 다른 용도로도 사용된다면 더욱 그렇습니다.

적합한 GPU를 이미 보유하고 있다면 로컬의 한계 비용은 전기 요금으로 제한되며, API는 주로 백업 옵션이나 확장 옵션이 됩니다. 자신의 숫자로 이 계산을 해보십시오: 실제 볼륨, 프롬프트 크기, 장비 및 에너지 비용.

두 경우 모두 작동하는 코드 작성

API가 OpenAI 형식을 따르기 때문에 한 번 코딩하면 구성 변경으로 호스팅을 바꿀 수 있습니다. 다음은 환경에서 URL, 키, 모델을 읽는 클라이언트입니다. 기본적으로 호스팅된 API를 사용합니다.

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.llmnoncensure.com/v1"),
    api_key=os.getenv("LLM_API_KEY", "VOTRE_CLE"),
)
MODELE = os.getenv("LLM_MODEL", "uncensored")

def demander(texte):
    r = client.chat.completions.create(
        model=MODELE,
        messages=[{"role": "user", "content": texte}],
        temperature=0.8,
    )
    return r.choices[0].message.content

print(demander("Propose trois idées de nouvelles noires, une phrase chacune."))

로컬로 전환하려면 LLM_BASE_URL, LLM_API_KEY, LLM_MODEL을 로컬 서버가 기대하는 값으로 설정하면 됩니다. 로컬 모델명은 설치한 내용에 따라 다르므로 관련 도구 문서에서 확인하세요. 이 방식은 특정 선택에 갇히지 않게 합니다. API 문서에서 /v1/chat/completions 및 /v1/responses 라우트도 참고하세요.

보통 가장 현명한 하이브리드 접근법

어느 한쪽을 선택해야 할 필요는 없습니다. 많은 개발자가 두 가지를 결합합니다:

  • 비밀 작업용 로컬: 다른 곳으로 전송하고 싶지 않은 초안, 메모, 텍스트.
  • 품질 또는 부하 분산용 API: 사용량 급증, 데모, 사용자 테스트, 머신을 포화시키는 긴 작업.
  • 프로토타이핑용 API: 1시간 만에 아이디어를 검증한 후 로컬 배포가 타당한지 결정합니다.

확장성을 고려할 때 다음 한도를 기억하세요. 선불 크레딧 키는 동시 요청 8개와 분당 300개를 허용하며, 무료 체험 크레딧 키는 동시 요청 2개와 분당 60개를 허용합니다. 이를 초과하면 API는 429 상태 코드와 함께 rate_limited 또는 concurrency 오류를 반환합니다. 잘 작성된 클라이언트는 충돌하지 않고 대기 후 재시도합니다.

마지막 예산 기준: $20 충전은 위 전형적인 크기의 요청 50,000개를 커버하며(20 / 0.0004 = 50,000), $100는 10% 보너스로 $110의 크레딧을 제공하여 275,000개의 요청을 생성합니다. 실패하거나 거부된 요청은 요금이 부과되지 않습니다. 이러한 수치를 기준으로 하드웨어 및 에너지의 실제 비용과 비교하면 계산 작업만 남습니다.

두 경로 모두 변하지 않는 것

기본적으로 거부하지 않는 모델이 법이나 상식을 면제해주지는 않습니다. 모델이 로컬에서 실행되든 서버에서 실행되든 생성하고 게시한 내용에 대해 책임이 있습니다. 미성년자를 포함한 성적 콘텐츠는 여전히 제외되며, 대중을 대상으로 하는 서비스는 자체 연령 확인 장치를 마련해야 합니다.

호스팅 옵션의 기밀성에 대해 명확한 사실은 프롬프트가 모델 학습에 사용되지 않는다는 것입니다. 그 외에는 민감한 데이터를 전송하기 전에 개인정보 처리방침을 읽으십시오. 이 점이 결정적이라면 로컬이 가장 안전한 선택입니다.

무약정 체험을 시작하려면 API 키 받기 페이지에서 결제 수단 없이 0,50 $의 무료 체험 크레딧을 요청하십시오. 이 테스트를 마치면 응답 품질이 더 나아가기에 충분한지, 아니면 로컬에 머무르는 것이 나은지 알 수 있습니다. 충전 요금은 요금제 페이지에 있으며, 암호화폐(TRC20 상의 USDT 또는 Base 상의 USDC)로 결제할 수 있습니다.

다른 가이드

자주 묻는 질문

무검열 로컬 LLM이 API보다 나은가요?

반드시 그런 것은 아닙니다. 기밀성과 오프라인에서는 더 좋지만, 단순성, 저사양 하드웨어에서의 품질, 확장성에서는 더 떨어집니다.

로컬에서 API로 코드를 다시 작성하지 않고 전환할 수 있나요?

코드가 OpenAI SDK를 사용한다면 가능합니다. 기본 URL, 키 및 모델 이름만 수정하면 됩니다.

호스팅 API는 제 프롬프트를 모델 학습에 사용하나요?

아니요, 프롬프트는 학습에 사용되지 않습니다.

호스팅 API의 가격은 얼마인가요?

입력 토큰 100만 개당 0,15 $, 출력 토큰 100만 개당 0,50 $. 구독 없음, 크레딧은 만료되지 않음.

키는 한 단계로 얻습니다

계정을 생성하고 키를 복사한 후 기본 URL을 수정하십시오. 그뿐입니다.

API 키 받기문서 보기