​

Serverless Inference

• ホスティングプロバイダーに登録したりモデルをセルフホストしたりすることなく、AI アプリケーションやエージェントを開発する。
• Weave Playground でサポート対象モデルを試す。

• 前提条件
  • Python 経由で API を使用するための追加の前提条件
• API 仕様
  • エンドポイント
  • 利用可能な method
    • Chat completions
    • サポート対象モデルを一覧表示する
• 使用例
• UI
  • Inference サービスにアクセスする
  • Playground でモデルを試す
  • 複数のモデルを比較する
  • 請求と使用状況の情報を表示する
• 利用に関する情報と制限
• API エラー

​

前提条件

1. W&B アカウント。アカウントを作成してください。
2. W&B APIキー。User Settings で APIキーを作成してください。
3. W&B プロジェクト。
4. Python 経由で Inference サービスを使用する場合は、Python 経由で API を使用するための追加の前提条件を参照してください。

​

Python 経由で API を使用するための追加の前提条件

pip install openai weave

​

API 仕様

• エンドポイント
• 利用可能な method
• 使用例

​

エンドポイント

https://api.inference.wandb.ai/v1

​

利用可能な method

• Chat completions
• サポート対象モデルの一覧

​

Chat completions

• Inference サービスのベース URL https://api.inference.wandb.ai/v1
• W&B APIキー <your-api-key>
• W&B entity 名とproject名 <your-team>/<your-project>
• 使用するモデルの ID。以下のいずれかです。
  • meta-llama/Llama-3.1-8B-Instruct
  • deepseek-ai/DeepSeek-V3-0324
  • meta-llama/Llama-3.3-70B-Instruct
  • deepseek-ai/DeepSeek-R1-0528
  • meta-llama/Llama-4-Scout-17B-16E-Instruct
  • microsoft/Phi-4-mini-instruct

curl https://api.inference.wandb.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <your-api-key>" \
  -H "OpenAI-Project: <your-team>/<your-project>" \
  -d '{
    "model": "<model-id>",
    "messages": [
      { "role": "system", "content": "You are a helpful assistant." },
      { "role": "user", "content": "Tell me a joke." }
    ]
  }'

import openai

client = openai.OpenAI(
    # custom ベース URL は Serverless Inference を指します
    base_url='https://api.inference.wandb.ai/v1',

    # APIキー は https://wandb.ai/settings で作成します
    # 安全のため、代わりに環境で OPENAI_API_KEY として設定することを検討してください
    api_key="<your-api-key>",

    # 使用状況のトラッキングには チーム と project が必須です
    project="<your-team>/<your-project>",
)

# <model-id> は次のいずれかの値に置き換えてください:
# meta-llama/Llama-3.1-8B-Instruct
# deepseek-ai/DeepSeek-V3-0324
# meta-llama/Llama-3.3-70B-Instruct
# deepseek-ai/DeepSeek-R1-0528
# meta-llama/Llama-4-Scout-17B-16E-Instruct
# microsoft/Phi-4-mini-instruct

response = client.chat.completions.create(
    model="<model-id>",
    messages=[
        {"role": "system", "content": "<your-system-prompt>"},
        {"role": "user", "content": "<your-prompt>"}
    ],
)

print(response.choices[0].message.content)

​

サポート対象モデルを一覧表示

curl https://api.inference.wandb.ai/v1/models \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <your-api-key>" \
  -H "OpenAI-Project: <your-team>/<your-project>" \

import openai

client = openai.OpenAI(
    base_url="https://api.inference.wandb.ai/v1",
    api_key="<your-api-key>",
    project="<your-team>/<your-project>"
)

response = client.models.list()

for model in response.data:
    print(model.id)

​

使用例

• 基本例: Weave で Llama 3.1 8B をトレースする
• 応用例: Inference サービスで Weave の評価とリーダーボードを使用する

​

基本例: Weave で Llama 3.1 8B をトレースする

• OpenAI 互換クライアントを使用して chat completion リクエストを行う、@weave.op() でデコレートされた関数 run_chat を定義します。
• Weave はトレースを記録し、それらを W&B の entity とproject project="<your-team>/<your-project>" に関連付けます。
• Weave はこの関数を自動的にトレースし、その入力、出力、レイテンシー、メタデータ (モデル ID など) をログします。
• 結果はターミナルに出力され、トレースは指定したproject配下の https://wandb.ai の Traces タブに表示されます。

import weave
import openai

# トレース用の Weave チームとプロジェクトを設定する
weave.init("<your-team>/<your-project>")

client = openai.OpenAI(
    base_url='https://api.inference.wandb.ai/v1',

    # https://wandb.ai/settings でAPIキーを作成する
    api_key="<your-api-key>",

    # W&B inference の使用状況トラッキングに必要
    project="wandb/inference-demo",
)

# Weave でモデルの呼び出しをトレースする
@weave.op()
def run_chat():
    response = client.chat.completions.create(
        model="meta-llama/Llama-3.1-8B-Instruct",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Tell me a joke."}
        ],
    )
    return response.choices[0].message.content

# トレースされた呼び出しを実行してログする
output = run_chat()
print(output)

1. https://wandb.ai にアクセスします。
2. Traces タブを選択して、Weave のトレースを表示します。

​

高度な例: Inference サービス で Weave の評価とリーダーボードを使用する

import os
import asyncio
import openai
import weave
from weave.flow import leaderboard
from weave.trace.ref_util import get_ref

# トレース用の Weave チームとプロジェクトを設定する
weave.init("<your-team>/<your-project>")

dataset = [
    {"input": "What is 2 + 2?", "target": "4"},
    {"input": "Name a primary color.", "target": "red"},
]

@weave.op
def exact_match(target: str, output: str) -> float:
    return float(target.strip().lower() == output.strip().lower())

class WBInferenceModel(weave.Model):
    model: str

    @weave.op
    def predict(self, prompt: str) -> str:
        client = openai.OpenAI(
            base_url="https://api.inference.wandb.ai/v1",
            # https://wandb.ai/settings で API キーを作成する
            api_key="<your-api-key>",
            # W&B inference の使用状況トラッキングに必須
            project="<your-team>/<your-project>",
        )
        resp = client.chat.completions.create(
            model=self.model,
            messages=[{"role": "user", "content": prompt}],
        )
        return resp.choices[0].message.content

llama = WBInferenceModel(model="meta-llama/Llama-3.1-8B-Instruct")
deepseek = WBInferenceModel(model="deepseek-ai/DeepSeek-V3-0324")

def preprocess_model_input(example):
    return {"prompt": example["input"]}

evaluation = weave.Evaluation(
    name="QA",
    dataset=dataset,
    scorers=[exact_match],
    preprocess_model_input=preprocess_model_input,
)

async def run_eval():
    await evaluation.evaluate(llama)
    await evaluation.evaluate(deepseek)

asyncio.run(run_eval())

spec = leaderboard.Leaderboard(
    name="Inference Leaderboard",
    description="Compare models on a QA dataset",
    columns=[
        leaderboard.LeaderboardColumn(
            evaluation_object_ref=get_ref(evaluation).uri(),
            scorer_name="exact_match",
            summary_metric_path="mean",
        )
    ],
)

weave.publish(spec)

• Traces タブにアクセスして、トレースを表示します。
• Evals タブにアクセスして、モデルの評価を表示します。
• Leaders タブにアクセスして、生成されたリーダーボードを表示します。

​

UI

​

Inference サービスにアクセスする

• 直接リンク
• Inference タブから
• Playground タブから

​

直接リンク

​

Inference タブから

1. W&B アカウントにアクセスするには、https://wandb.ai/ を開きます。
2. 左サイドバーから Inference を選択します。利用可能なモデルとその情報が表示されます。

​

Playground タブから

1. 左サイドバーで Playground を選択します。Playground のチャット UI が表示されます。
2. LLM のドロップダウンリストで Serverless Inference にカーソルを合わせます。右側に、使用可能な Serverless Inference モデルのドロップダウンが表示されます。
3. Serverless Inference モデルのドロップダウンから、次の操作を行えます。
   • 使用可能な任意のモデルの名をクリックして、Playground で試すことができます。
   • Playground で複数のモデルを比較する。

​

Playground でモデルを試す

• モデルの設定とパラメーターをカスタマイズする
• メッセージを追加、再試行、編集、削除する
• カスタム設定のモデルを保存して再利用する
• 複数のモデルを比較する

​

複数のモデルを比較する

• Inference タブから Compare ビューにアクセスする
• Playground タブから Compare ビューにアクセスする

​

Inference タブから Compare ビューにアクセスする

1. 左サイドバーで Inference を選択します。利用可能なモデルとモデル情報が表示されたページが開きます。
2. 比較するモデルを選択するには、モデルカード上の任意の場所 (モデル名を除く) をクリックします。選択されると、モデルカードの枠線が青色で強調表示されます。
3. 比較したい各モデルについて、step 2 を繰り返します。
4. 選択したいずれかのカードで、Compare N models in the Playground ボタンをクリックします (N は比較するモデル数です。たとえば、3 つのモデルを選択した場合、ボタンには Compare 3 models in the Playground と表示されます)。比較ビューが開きます。

​

Playground タブから Compare ビュー にアクセスする

1. 左サイドバーで Playground を選択します。Playground のチャット UI が表示されます。
2. LLM のドロップダウンリストで Serverless Inference にマウスオーバーします。右側に、利用可能な Serverless Inference モデルを含むドロップダウンが表示されます。
3. ドロップダウンから Compare を選択します。Inference タブが表示されます。
4. 比較するモデルを選択するには、モデルカード上の任意の場所 (モデル名を除く) をクリックします。選択されると、モデルカードの枠線が青色で強調表示され、選択されていることを示します。
5. 比較する各モデルに対して step 4 を繰り返します。
6. 選択したいずれかのカードで、Compare N models in the Playground ボタンをクリックします (N は比較するモデル数です。たとえば、3 つのモデルを選択した場合、ボタンには Compare 3 models in the Playground と表示されます) 。comparison view が開きます。

​

請求と使用状況の情報を表示する

1. W&B UI で、W&B の Billing ページにアクセスします。
2. 画面右下に Inference の請求情報カードが表示されます。ここでは、次のことができます。
   • Inference の請求情報カードにある View usage ボタンをクリックして、経時的な使用状況を確認します。
   • 有料プランをご利用の場合は、今後の Inference の請求額を確認します。

​

利用に関する情報と制限

​

地理的制限

​

同時実行制限

• 不正利用を防ぎ、API の安定性を保つ
• すべてのユーザーが利用できるようにする
• インフラストラクチャーの負荷を効果的に管理する

​

料金

​

API エラー