Not Diamond ¬◇

복잡한 LLM 워크플로를 구축할 때는 정확도, 비용 또는 호출 지연 시간에 따라 서로 다른 모델에 프롬프트를 보내야 할 수 있습니다. 이러한 워크플로에서 Not Diamond를 사용하면 프롬프트를 필요에 맞는 모델로 라우팅하여, 정확도는 높이고 모델 비용은 절감할 수 있습니다. 이 가이드에서는 Not Diamond를 W&B Weave와 통합해 Weave가 라우팅된 모델 Call을 자동으로 트레이스하는 방법과, Weave Evaluations를 사용해 자체 성능 데이터를 기반으로 프롬프트를 라우팅하는 맞춤형 라우터를 트레이닝하는 방법을 설명합니다.

시작하기

Weave로 Not Diamond를 사용하려면 Not Diamond 계정과 API 키가 필요합니다. 계정을 생성하고 API 키를 발급한 다음, API 키를 NOTDIAMOND_API_KEY라는 이름의 환경 변수에 추가하세요.

이제 다음 중 원하는 작업을 수행할 수 있습니다.

[퀵스타트 가이드]를 사용해 보세요.
Weave와 Not Diamond를 사용해 맞춤형 라우터를 구축하세요.
Not Diamond와 채팅하여 라우팅이 실제로 어떻게 동작하는지 확인하세요.

트레이싱

Weave는 Not Diamond의 Python 라이브러리와 통합되어 API Call을 자동으로 로깅하므로, 나머지 Weave 트레이스와 함께 라우팅 결정과 공급자의 응답을 확인할 수 있습니다. 워크플로 시작 시 weave.init()를 실행한 다음, 평소처럼 라우팅된 공급자를 계속 사용하세요:

from notdiamond import NotDiamond

import weave
weave.init('notdiamond-quickstart')

client = NotDiamond()
session_id, provider = client.chat.completions.model_select(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Concisely explain merge sort."}
    ],
    model=['openai/gpt-4o', 'anthropic/claude-3-5-sonnet-20240620']
)

print("LLM called: ", provider.provider)  # openai, anthropic 등
print("Provider model: ", provider.model) # gpt-4o, claude-3-5-sonnet-20240620 등

맞춤형 라우팅

특수한 사용 사례에서는 Evaluations를 기반으로 자체 [맞춤형 라우터]를 트레이닝하여 Not Diamond가 기본 라우팅 정책 대신 평가 성능에 따라 프롬프트를 라우팅하도록 할 수 있습니다. 먼저 맞춤형 라우터를 트레이닝하세요. train_router 호출은 나중에 사용할 수 있도록 트레이닝된 라우터를 식별하는 preference_id를 반환합니다:

from weave.flow.eval import EvaluationResults
from weave.integrations.notdiamond.custom_router import train_router

# gpt-4o와 Claude 3.5 Sonnet에 대한 Evaluation 구축
evaluation = weave.Evaluation(...)
gpt_4o = weave.Model(...)
sonnet = weave.Model(...)

model_evals = {
    'openai/gpt-4o': evaluation.get_eval_results(gpt_4o),
    'anthropic/claude-3-5-sonnet-20240620': evaluation.get_eval_results(sonnet),
}
preference_id = train_router(
    model_evals=model_evals,
    prompt_column="prompt",
    response_column="actual",
    language="en",
    maximize=True,
)

이 preference ID를 모든 model_select 요청에 전달하면, 맞춤형 라우터를 재사용하여 평가 데이터를 기준으로 성능은 최대화하고 비용은 최소화하도록 프롬프트를 라우팅할 수 있습니다:

from notdiamond import NotDiamond
client = NotDiamond()

import weave
weave.init('notdiamond-quickstart')

session_id, provider = client.chat.completions.model_select(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Concisely explain merge sort."}
    ],
    model=['openai/gpt-4o', 'anthropic/claude-3-5-sonnet-20240620'],

    # 이 preference ID를 전달하면 맞춤형 라우터를 재사용합니다
    preference_id=preference_id
)

print("LLM called: ", provider.provider)  # openai, anthropic 등
print("Provider model: ", provider.model) # gpt-4o, claude-3-5-sonnet-20240620 등

추가 지원팀

추가 도움이 필요하면 문서를 확인하거나 메시지 보내기를 이용하세요.

Weights & Biases

Powered by CoreWeave

Platform Details

Resources

시작하기

트레이싱

맞춤형 라우팅

추가 지원팀

​시작하기

​트레이싱

​맞춤형 라우팅

​추가 지원팀

시작하기

트레이싱

맞춤형 라우팅

추가 지원팀