> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-dependabot-npm-and-yarn-scripts-css-minify-npm.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# 시그널로 에이전트를 모니터링하세요

> W&B Weave 시그널을 사용해 에이전트 턴을 점수화하고, 태그를 적용하고, 프로덕션 환경에서 품질 및 안전 문제를 파악하세요.

W\&B Weave의 [Agents view](/ko/weave/guides/tracking/view-agent-activity)에서 시그널 탭은 에이전트 대화의 태그와 평점을 보여줍니다. 시그널은 품질 및 안전 문제를 드러내 문제를 식별하고, 패턴을 찾고, 주의가 필요한 트레이스를 강조합니다. 시그널을 사용하면 에이전트 응답의 품질을 자동으로 평가하고, 사용자가 좌절감을 느끼는 상황을 감지하거나, NSFW 콘텐츠를 표시할 수 있습니다.

LLM 평가자 대신 직접 호스팅하는 HTTP 엔드포인트로 턴을 점수화하려면 [원격 Scorer로 에이전트 턴 점수화하기](/ko/weave/guides/tracking/remote-scorer-signals)를 참조하세요.

<div id="get-started">
  <h2 id="get-started">
    시작하기
  </h2>
</div>

프로젝트의 시그널을 보려면 다음 단계를 따르세요.

1. [https://wandb.ai](https://wandb.ai)로 이동한 다음 프로젝트를 선택하세요.
2. 사이드바 메뉴에서 **Agents**를 선택해 프로젝트에 저장된 모든 에이전트 대화를 확인하세요.
3. 탭 바에서 **시그널**를 선택하세요.

<img src="https://mintcdn.com/wb-21fd5541-dependabot-npm-and-yarn-scripts-css-minify-npm/lMMfjAY6As3kZ7oM/weave/guides/tracking/imgs/agent-view-signals.png?fit=max&auto=format&n=lMMfjAY6As3kZ7oM&q=85&s=d88d6b04c53489f5e0e658c4f6778b8e" alt="에이전트의 점수가 매겨진 턴 목록이 표시된 시그널 탭." width="2011" height="603" data-path="weave/guides/tracking/imgs/agent-view-signals.png" />

<div id="key-terms">
  <h2 id="key-terms">
    주요 용어
  </h2>
</div>

* **턴**: 사용자와 에이전트 사이에서 오가는 한 차례의 상호작용입니다.
* **평점**: 일치하는 span에 부여되는 0.0\~1.0 사이의 숫자 점수입니다.
* **태그**: "user-frustration" 또는 "nsfw"처럼 일치하는 span에 부여되는 라벨입니다.

<div id="signals-table">
  <h2 id="signals-table">
    시그널 테이블
  </h2>
</div>

시그널 탭에는 에이전트에서 점수가 매겨진 턴의 테이블이 표시됩니다. 각 행은 시그널 모니터 중 하나의 출력을 나타냅니다. 다음 열이 기본적으로 표시됩니다.

| 열 | 설명 |
| - | - |
| **Type** | 점수가 매겨지는 대화의 부분입니다. `turn`만 지원됩니다. |
| **Scorer** | 이 점수를 생성한 시그널의 이름입니다. |
| **Last message** | 점수가 매겨진 턴의 마지막 메시지 미리보기이며, 아래에 Role이 표시됩니다. |
| **Agent** | 점수가 매겨진 턴에 연결된 에이전트입니다. |
| **Scores** | 0.0에서 1.0 사이의 숫자 평점 또는 일치한 경우 태그입니다. 1이 좋음, 0이 나쁨을 의미하도록 일관된 평점을 사용하는 것을 권장하지만, Scorer는 정의한 어떤 척도든 사용할 수 있습니다. |
| **Trend** | 이 시그널의 시간 경과에 따른 추세를 보여주는 인라인 차트를 표시합니다. 평점의 경우 평균값을, 태그의 경우 개수를 표시합니다. |
| **When** | 시그널이 점수화된 시점입니다. |

시간 범위 선택기와 **Filter** 바를 사용해 Scorer, 에이전트, 점수 범위 또는 기간별로 결과를 좁히세요. **Score volume** 타임라인은 Weave가 평점으로 평가했거나 태그를 지정한 시그널의 개수를 보여줍니다. 이 타임라인은 테이블에 표시된 행을 반영하며, 타임라인에서 드래그하여 필터링할 수 있습니다.

<h2 id="how-weave-normalizes-scores">
  Weave가 점수를 정규화하는 방식
</h2>

Weave는 시그널 결과를 저장하기 전에 Scorer가 반환한 태그, 평점, 이유를 정규화합니다.

* 태그는 소문자로 변환됩니다. `0-9`, `a-z`, `A-Z`, 공백, `. , ; - & ! @ # $ % ?` 이외의 문자는 제거됩니다. 연속된 공백, 밑줄, 대시는 하나의 대시로 합쳐집니다.
* 결과당 태그는 최대 10개까지만 유지되며, 중복된 태그는 삭제됩니다.
* 이유에서도 같은 문자가 제거되며, 256자를 넘는 부분은 잘립니다.
* 36자를 초과하는 태그가 있거나 평점이 두 개 이상인 결과는 전체가 거부되며, Weave는 해당 결과에 대한 feedback을 기록하지 않습니다.

이 규칙은 결과를 생성한 주체가 LLM 평가자든 [원격 Scorer](/ko/weave/guides/tracking/remote-scorer-signals)든 관계없이 모든 시그널에 적용됩니다.

<div id="create-a-new-signal">
  <h2 id="create-a-new-signal">
    새 시그널 만들기
  </h2>
</div>

에이전트의 턴 점수화를 시작하려면 시그널을 하나 이상 만드세요. **+ New signal**을 선택해 **Create signals** 드로어를 여세요.

드로어에서는 사용 가능한 시그널을 두 가지 범주로 나눠 보여줍니다.

* **Tags**: `user-frustration` 또는 `nsfw`와 같이 일치하는 span에 라벨을 자동으로 적용합니다. Tags를 사용해 span을 분류하거나 원치 않는 동작을 표시하세요. 시그널 UI에는 하나 이상의 태그와 일치한 span의 행만 표시되므로, 출력이 보이지 않아도 태그 시그널은 정상적으로 실행되었을 수 있습니다.
* **평점**: 일치하는 span에 0\~1 사이의 점수를 부여합니다. 평점을 사용해 에이전트 성능을 평가하고 시간 경과에 따른 개선 정도를 측정하세요.

<div id="preset-signals">
  <h3 id="preset-signals">
    프리셋 시그널
  </h3>
</div>

각 범주에는 바로 선택할 수 있는 프리셋 템플릿이 제공됩니다. 두 범주에 걸쳐 원하는 프리셋을 조합한 다음 **Create \[*N*] signals**를 선택하면 기본 설정으로 한 번에 모두 생성할 수 있습니다.

<div id="tags-presets">
  <h4 id="tags-presets">
    태그 프리셋
  </h4>
</div>

| Template | 감지 대상 |
| - | - |
| **사용자 불만** | 사용자가 좌절, 분노, 혼란, 또는 불만의 징후를 보입니다. |
| **악의적 의도 (Jailbreaking)** | 사용자가 시스템을 jailbreak하거나, 제한된 콘텐츠를 추출하거나, prompt injection을 수행하거나, role-play exploit을 사용하거나, 그 밖의 방식으로 에이전트를 조작해 가드레일을 무시하도록 유도하려고 시도합니다. |
| **NSFW** | 사용자 입력 또는 에이전트 출력에 노골적인 성적 콘텐츠, 잔혹한 폭력 묘사, 또는 직장 환경에 부적절한 기타 내용이 포함되어 있습니다. |
| **낮은 품질의 응답** | 에이전트 출력이 사실과 다르거나, 주제에서 벗어나거나, 회피적이거나, 반복적이거나, 거부할 때 정당한 이유가 부족하거나, 그 밖의 방식으로 사용자의 요청에 제대로 응답하지 못하는 경우입니다. |

<div id="ratings-presets">
  <h4 id="ratings-presets">
    평점 프리셋
  </h4>
</div>

| 템플릿 | 평가 내용 |
| - | - |
| **사용자 만족도** | 사용자가 만족하는지(긍정적인 피드백, 후속 참여, 작업 완료) 또는 불만족하는지(불만 제기, 반복적인 재진술, 대화 중단)를 평가합니다. |
| **사용자의 정상적 의도** | 사용자의 의도가 선의이며 정당한지, 아니면 jailbreak 시도, 유해한 요청 또는 prompt injection에 해당하는지를 평가합니다. |
| **업무 환경 적합성** | 대화 내용이 어떤 전문적인 업무 환경에서도 적절한지, 아니면 노골적이거나 폭력적이거나 그 밖에 직장에서 부적절한 내용을 포함하는지를 평가합니다. |
| **응답 품질** | 에이전트의 응답이 정확하고 완전하며 사용자의 Request에 직접적으로 부합하는지를 평가합니다. |

<h3 id="custom-signals">
  맞춤형 시그널
</h3>

비어 있는 Signals 탭에서 맞춤형 태그 시그널을 생성하려면 [맞춤형 시그널 생성](/ko/weave/guides/tracking/create-custom-signal)을 참조하세요.

<div id="manage-and-edit-signals">
  <h2 id="manage-and-edit-signals">
    시그널 관리 및 편집
  </h2>
</div>

생성된 시그널이 하나 이상 있는 경우, 툴바에서 활성 시그널 수(예: **1 active signals**)가 표시된 활성 시그널 버튼을 선택하면 프로젝트의 모든 활성 시그널이 나열된 드로어가 열립니다. 여기에서 시그널을 켜거나 끄고, 삭제하거나, 각 시그널을 편집할 수 있습니다. 편집기에는 맞춤형 시그널과 동일한 설정 필드가 표시됩니다.

<div id="troubleshoot-signals">
  <h2 id="troubleshoot-signals">
    시그널 문제 해결
  </h2>
</div>

시그널 활동은 프로젝트 사이드바의 **Traces** 아래에 표시됩니다. 예상한 시그널 일치 항목이 보이지 않으면 **Traces** 테이블에서 디버깅하세요. 예를 들어 오류 상태를 확인하려면 Scorer 이름과 **Status** 열을 확인하세요. Scorer 실행 오류가 발생하면 **Status**에 빨간색 표시기가 나타나며 오류 세부 정보도 함께 제공됩니다.