> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-mintlify-8476678c.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# 시그널로 에이전트를 모니터링하세요

> W&B Weave 시그널을 사용해 에이전트 턴을 점수화하고, 태그를 적용하고, 프로덕션 환경에서 품질 및 안전 문제를 파악하세요.

<Note>
  Weave for Agents는 공개 프리뷰 상태입니다. 정식 출시 전에 특성, API 및 Agents 뷰 UI가 변경될 수 있습니다.
</Note>

W\&B Weave의 [Agents view](/ko/weave/guides/tracking/view-agent-activity)에서 시그널 탭은 에이전트 대화의 태그와 평점을 보여줍니다. 시그널은 품질 및 안전 문제를 드러내 문제를 식별하고, 패턴을 찾고, 주의가 필요한 트레이스를 강조합니다. 시그널을 사용하면 에이전트 응답의 품질을 자동으로 평가하고, 사용자가 좌절감을 느끼는 상황을 감지하거나, NSFW 콘텐츠를 표시할 수 있습니다.

<div id="get-started">
  ## 시작하기
</div>

프로젝트의 시그널을 보려면 다음 단계를 따르세요.

1. [https://wandb.ai](https://wandb.ai)로 이동한 다음 프로젝트를 선택하세요.
2. 사이드바 메뉴에서 **Agents**를 선택해 프로젝트에 저장된 모든 에이전트 대화를 확인하세요.
3. 탭 바에서 **시그널**를 선택하세요.

<img src="https://mintcdn.com/wb-21fd5541-mintlify-8476678c/a6d1eKuxv050RfOd/weave/guides/tracking/imgs/agent-view-signals.png?fit=max&auto=format&n=a6d1eKuxv050RfOd&q=85&s=33a9c4791e3193c2c5d247c0bd62d94d" alt="에이전트의 점수가 매겨진 턴 목록이 표시된 시그널 탭." width="1478" height="775" data-path="weave/guides/tracking/imgs/agent-view-signals.png" />

<div id="key-terms">
  ## 주요 용어
</div>

* **턴**: 사용자와 에이전트 사이에서 오가는 한 차례의 상호작용입니다.
* **평점**: 일치하는 span에 부여되는 0.0\~1.0 사이의 숫자 점수입니다.
* **태그**: "user-frustration" 또는 "nsfw"처럼 일치하는 span에 부여되는 라벨입니다.

<div id="signals-table">
  ## 시그널 테이블
</div>

시그널 탭에는 에이전트에서 점수가 매겨진 턴의 테이블이 표시됩니다. 각 행은 시그널 모니터 중 하나의 출력을 나타냅니다. 다음 열이 기본적으로 표시됩니다.

| 열                | 설명                                                                                                             |
| ---------------- | -------------------------------------------------------------------------------------------------------------- |
| **Type**         | 점수가 매겨지는 대화의 부분입니다. `turn`만 지원됩니다.                                                                             |
| **Scorer**       | 이 점수를 생성한 시그널의 이름입니다.                                                                                          |
| **Last message** | 점수가 매겨진 턴의 마지막 메시지 미리보기이며, 아래에 Role이 표시됩니다.                                                                    |
| **Agent**        | 점수가 매겨진 턴에 연결된 에이전트입니다.                                                                                        |
| **Scores**       | 0.0에서 1.0 사이의 숫자 평점 또는 일치한 경우 태그입니다. 1이 좋음, 0이 나쁨을 의미하도록 일관된 평점을 사용하는 것을 권장하지만, Scorer는 정의한 어떤 척도든 사용할 수 있습니다. |
| **Trend**        | 이 시그널의 시간 경과에 따른 추세를 보여주는 인라인 차트를 표시합니다. 평점의 경우 평균값을, 태그의 경우 개수를 표시합니다.                                        |
| **When**         | 시그널이 점수화된 시점입니다.                                                                                               |

시간 범위 선택기와 **Filter** 바를 사용해 Scorer, 에이전트, 점수 범위 또는 기간별로 결과를 좁히세요. **Score volume** 타임라인은 Weave가 평점으로 평가했거나 태그를 지정한 시그널의 개수를 보여줍니다. 이 타임라인은 테이블에 표시된 행을 반영하며, 타임라인에서 드래그하여 필터링할 수 있습니다.

<div id="create-a-new-signal">
  ## 새 시그널 만들기
</div>

에이전트의 턴 점수화를 시작하려면 시그널을 만드세요. 에이전트용 새 Scorer를 만들려면 **+ New signal**을 선택한 다음, 다음 옵션을 설정하세요.

<div id="scorer-type">
  ### Scorer 유형
</div>

생성할 Scorer로 **평점** 또는 **태그** 중 하나를 선택하세요.

* **평점**: 일치하는 각 span에 0과 1 사이의 점수를 부여합니다.
* **태그**: 일치하는 각 span에 최대 10개의 태그를 부여합니다. 시그널 UI는 태그가 하나 이상 일치한 span의 행만 표시하므로, 출력이 보이지 않더라도 태그 Scorer가 성공적으로 실행되었을 수 있습니다.

<div id="only-score-turns-matching">
  ### 일치하는 턴에만 점수 매기기
</div>

이 선택기를 사용하면 시그널이 점수를 매길 턴을 제한할 수 있습니다. 예를 들어 특정 `Agent name`, `Operation name`, `Tool name` 또는 `Request model`에 해당하는 턴만 점수 매기도록 설정할 수 있습니다. Weave는 여러 필터를 `AND` 논리로 결합합니다. 모든 턴에 점수를 매기려면 필터 행 끝의 **x**를 선택해 해당 필터를 제거하세요.

<div id="prompt-template">
  ### 프롬프트 템플릿
</div>

다음 표에서 기본 템플릿을 선택한 다음, 인라인으로 표시되는 **Scorer prompt**를 조정하세요. Weave는 점수화 중에 `{input_messages}`, `{output_messages}`, `{system_instructions}`와 같은 템플릿 변수를 치환합니다.

<div id="rating-templates">
  #### 평점 템플릿
</div>

| 템플릿             | 평가 내용                                                                            |
| --------------- | -------------------------------------------------------------------------------- |
| **사용자 만족도**     | 사용자가 만족하는지(긍정적인 피드백, 후속 참여, 작업 완료) 또는 불만족하는지(불만 제기, 반복적인 재진술, 대화 중단)를 평가합니다.     |
| **사용자의 정상적 의도** | 사용자의 의도가 선의이며 정당한지, 아니면 jailbreak 시도, 유해한 요청 또는 prompt injection에 해당하는지를 평가합니다.  |
| **업무 환경 적합성**   | 대화 내용이 어떤 전문적인 업무 환경에서도 적절한지, 아니면 노골적이거나 폭력적이거나 그 밖에 직장에서 부적절한 내용을 포함하는지를 평가합니다. |
| **응답 품질**       | 에이전트의 응답이 정확하고 완전하며 사용자의 Request에 직접적으로 부합하는지를 평가합니다.                            |

<div id="tags-templates">
  #### 태그 템플릿
</div>

| Template                  | 감지 대상                                                                                                                                   |
| ------------------------- | --------------------------------------------------------------------------------------------------------------------------------------- |
| **사용자 불만**                | 사용자가 좌절, 분노, 혼란, 또는 불만의 징후를 보입니다.                                                                                                       |
| **악의적 의도 (Jailbreaking)** | 사용자가 시스템을 jailbreak하거나, 제한된 콘텐츠를 추출하거나, prompt injection을 수행하거나, role-play exploit을 사용하거나, 그 밖의 방식으로 에이전트를 조작해 가드레일을 무시하도록 유도하려고 시도합니다. |
| **NSFW**                  | 사용자 입력 또는 에이전트 출력에 노골적인 성적 콘텐츠, 잔혹한 폭력 묘사, 또는 직장 환경에 부적절한 기타 내용이 포함되어 있습니다.                                                             |
| **낮은 품질의 응답**             | 에이전트 출력이 사실과 다르거나, 주제에서 벗어나거나, 회피적이거나, 반복적이거나, 거부할 때 정당한 이유가 부족하거나, 그 밖의 방식으로 사용자의 요청에 제대로 응답하지 못하는 경우입니다.                              |

<div id="scorer-name">
  ### Scorer 이름
</div>

이 시그널의 표시 이름을 선택하세요.

<div id="advanced-settings">
  ### 고급 설정
</div>

**Advanced**에서 다음 옵션을 설정하세요.

* **Inference 모델**: 점수화에 사용할 LLM입니다. 사용 가능한 경우 [Serverless Inference](/ko/inference/)를 기본값으로 사용하는 것이 좋습니다.
* **샘플 비율**: 트래픽이 많은 에이전트의 경우 모든 턴이 아니라 일부 턴만 점수화하도록 샘플 비율을 설정해 비용을 줄이세요.

<div id="manage-and-edit-signals">
  ## 시그널 관리 및 편집
</div>

**Manage signals**를 선택하면 프로젝트의 모든 활성 시그널이 나열된 드로어가 열립니다. 여기에서 시그널을 켜거나 끄고, 삭제하거나, 각 시그널을 편집할 수 있습니다. 편집기에는 **+ New signal**과 동일한 필드가 표시됩니다.

<div id="troubleshoot-signals">
  ## 시그널 문제 해결
</div>

시그널 활동은 프로젝트 사이드바의 **Traces** 아래에 표시됩니다. 예상한 시그널 일치 항목이 보이지 않으면 **Traces** 테이블에서 디버깅하세요. 예를 들어 오류 상태를 확인하려면 Scorer 이름과 **Status** 열을 확인하세요. Scorer 실행 오류가 발생하면 **Status**에 빨간색 표시기가 나타나며 오류 세부 정보도 함께 제공됩니다.