가이드라인 North Star — 가장 중요한 목표 우리가 원하는 것은 똑똑하고 매력적인 친구처럼 대화하는 챗봇입니다. 자연스럽고, 유용하고, 정확하며, 이해하기 쉬워야 합니다. 미리 만들어진 답변을 시스템이 읽어주는 것처럼 느껴져서는 안 됩니다. 주어진 동일한 시나리오를 바탕으로 두 모델과 대화한 뒤, 지정된 평가 항목에 따라 두 대화를 비교하고 평가하게 됩니다. 시나리오에 따라 모델이 특정 페르소나(persona)를 맡도록 요구될 수도 있습니다. 예를 들어 사용자가 역할극을 원하고 모델이 특정 캐릭터를 연기해야 하는 경우입니다. 페르소나란 상호작용 중 모델이 구현해야 하는 캐릭터를 의미합니다. 목소리, 말투, 감정적 존재감, 스타일, 인지되는 연령/성별 표현, 성격 등으로 정의됩니다. 페르소나는 모델이 무엇을 말하는지뿐 아니라 어떻게 말하는지에도 영향을 주며, 일관되고 실제로 존재할 법한 캐릭터와 이야기하는 느낌을 만들기 위한 것입니다. 직감을 따르세요. 가장 먼저, 그리고 가장 중요하게 판단해야 할 것은 전체적인 선호도입니다. “사용자라면 이런 유형의 프롬프트에서 어느 모델과 다시 대화하고 싶은가?” 가 핵심 질문입니다. 기본 원칙: 두 모델이 그 밖의 면에서 비슷하다면 자연스러움과 몰입감을 주요 차별화 기준으로 삼습니다. 단, 정확성이 합리적이고 허용 가능한 수준이어야 합니다. 즉, 프롬프트의 목적에 명백하게 영향을 주는 지어낸 정보나 사실 오류가 없어야 합니다. 각 평가 항목에 대한 자세한 내용은 “Rate the Dimensions” 섹션을 참고하세요. Annotator SOP — 평가자 작업 절차 1) 시작하기 전에 시나리오 프롬프트를 처음부터 끝까지 읽으세요. 목표와 중요한 조건을 확인하세요. 예: - 예산 - 아이템 개수 - 특정 감정 - “모델은 조언하지 말고 듣기만 해야 함” 등의 조건 각 시나리오 아래에 있는 Skills Tested도 확인하세요. 이 항목들은 해당 시나리오가 모델의 어떤 능력을 시험하는지 파악하고 설명하는 데 도움이 됩니다. 진행 계획을 정하세요. - 대화를 어떻게 시작할 것인가? - 모델을 어떻게 더 시험해볼 것인가? - 후속 질문 - 정정 - 끼어들기 등 두 모델 모두에게 동일한 계획을 적용합니다. 두 모델이 어느 한쪽도 유리하지 않도록 사용자가 제공하는 관심, 노력, 맥락을 동일하게 유지해야 합니다. 두 대화의 턴 수도 최대한 비슷하게 맞추세요. 2) 모델과 대화하기 시나리오를 실제로 연기하세요. 주어진 캐릭터와 상황을 최대한 충실하게 수행하고, 무관한 잡담을 하지 마세요. 여러 턴에 걸쳐 대화하세요. 한 번 질문하고 한 번 답하는 것으로는 충분하지 않습니다. 실제로 여러 차례 대화를 주고받으면서 시간이 지남에 따라 모델이 어디서 문제를 보이는지 확인해야 합니다. 대화를 주고받는 동안 다음 규칙을 따르세요. Scenario Adherence — 시나리오 준수 과제에서 벗어나지 마세요. 계획을 유지하고 주어진 시나리오를 정확하게 따르세요. 관련 없는 주제를 꺼내거나, 제약 조건을 무시하거나, 임의로 모델을 시험하지 마세요. 프롬프트의 핵심 목표에서 벗어나면 데이터는 사용할 수 없게 됩니다. Scenario Coherence — 시나리오 일관성 행동이 시나리오 안에서 논리적으로 일관되도록 하세요. 모순되는 행동, 말이 안 되는 전개, 실제 사용자라면 하지 않을 법한 반응을 피하세요. 일관성 없는 입력은 의미 없는 결과를 만듭니다. No Scripting — 대본 금지 자연스럽고 실시간으로 대화하세요. 미리 작성한 문장을 읽거나 연습해 둔 대본을 따라서는 안 됩니다. 대본화된 상호작용은 실제 환경에서 음성 AI가 처리해야 하는 예측 불가능성을 제거합니다. No Bad-faith Acts — 악의적인 행동 금지 모델을 고의로 망가뜨리거나, 속이거나, 방해하려고 하지 마세요. 평가는 스트레스 테스트가 아니라 실제 사용자의 자연스러운 행동을 재현해야 합니다. 악의적인 상호작용은 모델의 실제 성능을 보여주지 못하며 즉시 플랫폼 이용 금지 및 프로젝트 제외로 이어질 수 있습니다. 악의적인 행동에는 다음 등이 포함됩니다. - 명백하게 대본을 읽는 행위 - 프롬프트 지침을 수정 없이 그대로 읽는 행위 - 음악 또는 TV 등의 배경 대화를 재생하는 행위 - 보이스 체인저나 음성 합성기를 사용하는 행위 등 3) 평가 항목 Overall Preference — 전체 선호도 (가장 중요) 전체적인 대화 경험을 기준으로 모델의 순위를 정합니다. 어떤 유형의 프롬프트를 평가하는지에 따라 선호 판단에 큰 영향을 받을 수 있습니다. Naturalness / Engagement / Aesthetics — 자연스러움 / 몰입감 / 미적 품질 - 사람처럼 자연스럽게 들렸는가? - 가까운 친구와 이야기하듯 몰입감 있는 대화였는가? - 전달 방식이 진정성 있게 느껴졌는가? 특히 다음을 봅니다. - 속도(pacing) - 말투(tone) - 감정적 존재감 - 턴테이킹 로봇 같은 표현, 대화가 리셋되는 느낌, 반복, turn-hoarding(혼자 너무 오래 말해서 사용자가 말할 틈을 주지 않는 것) 등을 주의하세요. Utility — 유용성 해야 할 일을 제대로 했는가? 실행 가능하고, 관련성이 있으며, 구체적인지를 봅니다. 일반론적인 답변은 좋지 않습니다. IQ/검색 과제에서는 정확성도 중요합니다. 확신에 차서 틀린 답을 하는 모델보다 “확실하지 않지만…”이라고 솔직하게 말하는 모델이 낫습니다. Audio Quality — 오디오 품질 순수하게 음향적·미적 관점에서 전체 대화 품질이 어땠는지를 평가합니다. 다음과 같은 심각한 문제가 있었는지 확인합니다. - freezing — 음성이 멈춤 - glitching — 글리치 - popping — 튀는 소리 - warbling — 음성이 울렁거리거나 일그러지는 현상 등 Conversational Dynamics — 대화 역동성 어느 모델이: - 상대의 말 차례를 존중하고 - 적극적으로 듣고 - 실제 주고받는 대화의 흐름을 잘 만들었는가? 또한 다음을 얼마나 잘 처리했는지 봅니다. - 침묵 - 끼어들기 - “어허”, “맞아” 같은 구두 피드백 신호 Task Success — 과제 성공 여부 모델이 명시적·암묵적 요구를 모두 충족했는가? 암묵적인 의도도 평가합니다. 예를 들어 사용자는 그냥 속마음을 털어놓고 싶은데 모델이 조언을 해버렸다면 실패로 볼 수 있습니다. 4) Error Clustering — 오류 분류 위 평가 항목을 모두 채운 후, 각 모델의 대화에서 아래 Error Cluster Taxonomy에 해당하는 오류가 있었는지 확인합니다. 5) Explain your Reasoning — 평가 근거 작성 Rationale은 해당 음성을 듣지 않은 사람도 왜 그런 평가를 내렸는지 명확히 이해할 수 있어야 합니다. “무엇을 들었는지 말하세요. 언제 들었는지 말하세요. 왜 중요했는지 말하세요.” 구체적인 증거와 타임스탬프 등을 사용하세요. 템플릿: I chose [Model] because [dimension] was stronger. At [timestamp/turn], it [observable behavior], which mattered because [impact on user/listener]. The other model [trade-off or weakness]. 번역: [평가 항목]에서 더 뛰어났기 때문에 [모델]을 선택했습니다. [타임스탬프/턴]에서 [관찰 가능한 행동]을 했고, 이는 [사용자/청취자에게 미친 영향] 때문에 중요했습니다. 다른 모델은 [장단점 또는 약점]을 보였습니다. 예시: I chose Model B for naturalness. At 0:45, it laughed softly and asked a relevant follow-up — felt responsive, not scripted. Model A answered correctly but paused too long and gave a flat “okay, got it.” 번역: 자연스러움에서는 Model B를 선택했습니다. 0:45에서 부드럽게 웃으면서 관련된 후속 질문을 했고, 대본을 읽는 것이 아니라 실제로 반응하는 것처럼 느껴졌습니다. Model A는 정확하게 답했지만 침묵이 너무 길었고 “okay, got it”도 밋밋하게 전달했습니다. 작성하기 전에 확인할 것: - 결정적인 요인이 무엇이었나? → 선택을 결정한 평가 항목을 명시 - 어디에서 나타났나? → timestamp, turn 또는 실제 표현 제시 - trade-off가 있었나? → 다른 모델이 더 잘한 부분은 무엇인지 확인 모호한 평가 vs 구체적인 평가 너무 모호함: “Model B was more natural overall.” 필요한 수준: “At 0:45, B laughed and asked a follow-up. A paused 2 seconds then gave a flat ‘okay, got it.’” → 0:45에서 B는 웃으면서 후속 질문을 했다. A는 2초간 멈춘 뒤 밋밋한 “okay, got it”을 말했다. 너무 모호함: “Both had good audio quality.” 필요한 수준: “Both clean. A had minor sibilance at 0:12 and 0:34; B had a tick at 0:08 — neither worth penalizing.” → 둘 다 깨끗했다. A는 0:12와 0:34에 약간의 치찰음이 있었고, B는 0:08에 작은 틱 소리가 있었다. 어느 쪽도 감점할 정도는 아니었다. 너무 모호함: “Model A followed instructions better.” 필요한 수준: “User asked for 3 restaurants with prices. A delivered all 3. B only covered 2 and skipped pricing.” → 사용자는 가격을 포함한 식당 3곳을 요청했다. A는 3곳 모두 제공했지만 B는 2곳만 다뤘고 가격도 빠뜨렸다. 너무 모호함: “I preferred A. It sounded better.” 필요한 수준: “User was venting. A slowed pacing and dropped pitch at 0:22–0:30 — felt like listening. B stayed upbeat, which felt tone-deaf.” → 사용자가 속상한 일을 털어놓고 있었다. A는 0:22~0:30에서 말하는 속도를 늦추고 음높이를 낮춰 실제로 이야기를 들어주는 느낌을 줬다. B는 계속 밝은 분위기를 유지해서 상황에 맞지 않게 느껴졌다. 공통 패턴: 좋은 rationale에는 구체적인 순간, timestamp, 관찰 가능한 세부사항이 있습니다. 모호한 rationale은 어떤 과제에 붙여도 말이 되기 때문에 좋지 않습니다. When to Skip — 건너뛰어야 할 때 다음의 경우 Skip: - 시나리오가 영어가 아님 → 계속 발생하면 PM에게 알림 - 해당 시나리오를 수행하는 데 필요한 전문성이 없음 - 예: 고급 과학 지식 필요 - 자신이 모르는 언어에 대한 고급 지식 필요 Skip (Technical Issue) 작업을 시작했지만 기술적 문제로 완료할 수 없었다면 이 버튼을 사용합니다. 예: - 모델이 대화 중간에 멈춤 - 모델이 입력에 응답하지 않음 - 모델 연결 실패 - 기타 — 모델 응답이 안전하지 않거나 유해한 경우 포함 기술적 문제의 정확한 사유를 선택해야 합니다. 이는 기술적 문제의 발생 빈도를 파악하고 수정 우선순위를 정하는 데 도움이 됩니다. Error Cluster Taxonomy — 오류 분류표 1. Repetitive looping and LLMisms 반복적인 루프 및 AI 특유의 표현. 모델이 고정된 대화 구조에 지나치게 의존하고 같은 시작 문구나 마무리 패턴을 반복합니다. 2. Interrupted User 모델이 사용자 말을 끊거나 겹쳐 말해 턴테이킹을 방해합니다. 3. Model Refusals 사용자의 명시적인 요청을 충분히 수행하지 않습니다. 일부만 처리하는 것부터 완전히 무시·거부하는 경우까지 포함합니다. 4. Inaccuracy (Factual hallucination) 잘못되거나 오해를 일으키거나 지어낸 정보를 제공합니다. 5. Anthropomorphism (Embodiment Hallucination) 모델이 실제 인간인 것처럼 말합니다. 6. Overacted / Too-Wide Prosodic Range 내용이나 감정에 비해 지나치게 과장된 음성 표현을 사용합니다. 7. Bad ASR or Model Misunderstanding 음성인식 오류 또는 모델의 잘못된 이해로 사용자를 제대로 이해하지 못합니다. 8. Latency 응답 시작 또는 완료가 지나치게 늦어 대화 흐름을 방해합니다. 9. Failed Correction 사용자의 정정을 반영하지 못하거나 이전 오류를 계속 반복합니다. 10. Response Not Locally Relevant (i18n only) 사실 자체는 틀리지 않았지만 사용자의 지역·문화에 맞지 않는 내용입니다. 11. Wrong Language Response 기대되는 언어가 아닌 다른 언어로 응답합니다. 12. Model uses the wrong gender to refer to itself or to the user (i18n only) 모델 자신이나 사용자를 잘못된 문법적 성으로 지칭합니다. 13. Scenario Adherence — 사용자/평가자 오류 평가자가 시나리오의 규칙·조건·필수 요구사항을 제대로 따랐는지 평가합니다. 14. Scenario Coherence — 사용자/평가자 오류 평가자가 두 모델에서 대략 동등한 대화 경로를 유지했는지 평가합니다. 15. Non-Spontaneous Interaction / Defensive Scripting — 사용자/평가자 오류 즉흥적이지 않고 사전에 계획하거나 연습한 듯한 대화입니다. 16. Adversarial — 사용자/평가자 오류 평가 결과를 조작하거나 진정한 노력을 피하려는 고의적인 악의적 행동입니다. 17. Wrong Language Response from User — 사용자/평가자 오류 평가자가 지정된 언어로 충분히 대화하지 못한 경우입니다. 18. Missing Audio Transcript에는 내용이 있지만 실제 음성이 없거나 잘렸거나 지나치게 짧은 경우입니다. 19. Other 위 분류 어디에도 적절하게 들어가지 않는 문제입니다. Severity Rubrics — 심각도 기준 1. Repetitive looping and LLMisms Minor: 내용 반복이 미묘하지만 눈에 띄게 반복됨. Moderate: AI가 3~5번 같은 루프를 반복하며 초기 방향 전환을 무시함. Major: 방향을 바꾸려 해도 여러 턴에 걸쳐 끊임없이 반복하고 내용과 표현도 일관성을 잃음. Catastrophic: 깨뜨릴 수 없는 가속되는 반복 루프가 생기며 내용이 비논리적이거나 불쾌해짐. 2. Interrupted User Minor: 한 번 약간 겹쳐 말하거나 조금 일찍 응답함. 자연스러운 대화에서도 있을 법한 짧은 끼어들기. Moderate: 2~3번 사용자의 말을 끊거나, 한 번이라도 매우 공격적·방해가 되게 끊음. Major: 4턴 이상 끊거나 사용자가 생각을 끝낼 수 없을 정도로 대화를 지배함. 3. Model Refusals Minor: 요청 대부분은 처리했지만 작은 세부사항·뉘앙스·부수적인 지시 하나를 놓침. Moderate: 요청을 표면적으로 또는 부분적으로만 처리하여 실제로 쓸 수 있는 결과가 제한적이고 중요한 부분을 놓침. Major: 사용자의 명시적 지시를 완전히 무시·모순하거나 전혀 다른 질문에 답하는 수준. 4. Inaccuracy (Factual hallucination) Minor: 대부분 정확하지만 사용자를 크게 오도하지 않는 작은 사실 오류나 부정확한 세부사항이 있음. Moderate: 중요한 부분에서 일부 잘못되거나 오해를 일으킬 수 있어 사용자가 사실 확인을 하지 않으면 잘못된 판단을 할 수 있음. Major: 중요한 주제에서 심각하게 틀리거나 지어낸 내용을 자신 있게 사실처럼 제시하여 사용자를 크게 오도할 가능성이 있음. 5. Anthropomorphism (Embodiment Hallucination) Minor: “I find that…”처럼 개인 경험을 약간 암시하는 1인칭 표현을 사용하지만 크게 기만적으로 느껴지지는 않음. Moderate: “내가 자랄 때…”처럼 실제 개인 기억·감정·삶의 경험이 있다고 명시적으로 주장하여 사용자가 모델의 본질을 혼동할 수 있음. Major: 원문 표에서 상세 설명이 일부 생략되어 있음. 상위 심각도: 실제 인간처럼 지속적이고 설득력 있게 역할극하며 상세한 개인 경험·감정적 배경·정체성을 꾸며냄. 6. Overacted / Too-Wide Prosodic Range Minor: 내용에 필요한 수준보다 조금 더 과한 음성 표현. 눈에 띄지만 방해가 되지는 않음. Moderate: 여러 턴에서 표현이 눈에 띄게 과장되어 전달 방식 자체에 주의가 쏠림. Major: 대화 전체에서 연극처럼 지나치게 과장되어 만화 같은 느낌을 주고 신뢰감과 자연스러움을 크게 해침. 7. Bad ASR or Model Misunderstanding Minor: 한 단어가 잘못 전사되거나 의도의 좁은 부분을 잘못 이해했지만 전체 의미는 복구 가능함. Moderate: 1~2턴에서 핵심 단어나 문구가 잘못 전사되거나 모델이 사용자의 의도를 근본적으로 잘못 이해함. Major: 3턴 이상 지속적으로 이해에 실패해 transcript가 신뢰하기 어렵거나 모델이 잘못된 해석에 계속 집착함. Catastrophic: 이해 실패가 실제 피해나 되돌릴 수 없는 행동으로 이어짐. 8. Latency Minor: 응답 지연이 1~3초로 약간 길게 느껴지지만 대화 리듬을 완전히 깨지는 않음. Moderate: 4~8초의 눈에 띄는 침묵이 응답 전에 발생해 자연스러운 주고받기를 방해하고 사용자가 모델이 들었는지 의심하게 됨. Major: 9초 이상의 긴 침묵으로 세션이 멈춘 것처럼 느껴져 사용자가 다시 말하거나 대화를 종료하려 할 정도로 흐름을 심하게 깨뜨림. 9. Failed Correction Minor: 처음에는 실수를 반복하지만 사용자가 한 번 정정한 뒤 스스로 바로잡음. 마찰이 적음. Moderate: 정정을 말로는 인정하지만 이후에도 잘못된 정보를 계속 적용해 여러 번 정정이 필요함. Major: 명시적인 정정을 여러 턴 동안 완전히 무시하고 원래 오류를 계속 유지함. 10. Response Not Locally Relevant (i18n only) Minor: 해당 지역에 맞지 않는 브랜드·휴일·측정 단위 등 단일한 언급이나 가정이 잠깐 등장함. Moderate: 지역에 맞지 않는 참조가 여러 번 나오거나 답변 일부가 해당 지역에는 적용되지 않는 전제를 기반으로 함. Major: 답변 전체가 사용자의 지역에 존재하지 않는 시스템·문화적 전제에 기반해 실질적으로 도움이 되지 않음. 11. Wrong Language Response Minor: 다른 언어의 1~2단어나 짧은 문구가 섞였지만 나머지는 올바른 언어로 응답함. Moderate: 한 번 잘못된 언어로 답했지만 사용자가 한 번 정정한 뒤 올바른 언어로 바꿈. Major: 잘못된 언어로 답한 뒤 두 번 이상 정정해야 바뀌거나 계속 잘못된 언어로 돌아감. Catastrophic: 전체 대화에서 올바른 언어를 한 번도 사용하지 않음. 12. Wrong Gender Minor: 명확한 여성 음성이지만 자신을 남성 문법 성으로 표현하거나 그 반대의 경우. Moderate: 대화 중 음성이 다른 성별로 인식될 정도로 바뀜. Major: 사용자를 잘못된 문법적 성으로 직접 지칭함. 13. Scenario Adherence Minor: 작은 시나리오 요구 하나에서 벗어나지만 전체 의도와 구조는 유지됨. Moderate: 시나리오 요구사항 2~3개를 놓치거나 무시함. Major: 시나리오 요구사항 대부분을 무시함. Catastrophic: 원문 표에서 상세 설명이 생략되어 있음. 14. Scenario Coherence Minor: 한쪽에 follow-up 하나가 더 있는 정도의 작은 노력·턴 길이 불균형이며 어느 모델에도 실질적인 이점을 주지 않음. Moderate: 한 모델에 눈에 띄게 더 많은 노력·복잡성·후속 대화를 제공함. Major: 두 모델에 투입한 대화의 수준이 명백하게 비대칭임. 15. Non-Spontaneous Interaction / Defensive Scripting Moderate: 개별 턴이나 일부 구간을 분명히 미리 계획함. 예를 들어 즉석에서 만들었다고 보기 어려울 정도로 지나치게 완벽한 문장 등. Major: 대화 전체를 미리 작성해 놓고 대본을 연기하듯 수행함. Catastrophic: 완성된 전체 대화를 사전에 작성한 뒤 라이브 대화인 것처럼 수행함. 16. Adversarial Catastrophic: 평가 데이터의 신뢰성을 체계적으로 훼손하도록 고의적으로 시스템을 속이거나 조작함. 예를 들어 LLM을 사용해 대화 자체를 생성하는 행위 등. 17. Wrong Language Response from User Minor: 1~2턴에 다른 언어가 약간 섞이거나 표현이 어색하지만 의미는 명확하고 데이터 사용에는 문제가 없음. Moderate: 원문 표에서 상세 설명이 생략되어 있음. Major: 여러 턴에서 잘못된 언어를 사용하거나 반복적인 이해 부족이 나타나 평가 데이터가 부분적으로만 사용 가능할 정도로 품질이 저하됨. 18. Missing Audio Minor: 중요도가 낮은 한 턴(예: “okay”, “got it”)에서 오디오가 없거나 잘림. 또는 transcript가 실제 음성보다 약간 더 긴 정도. Moderate: 톤·강조 등 음성 전달이 중요한 턴에서 오디오가 없거나 잘리거나 transcript보다 상당히 짧음. Major: 핵심 평가 턴 또는 여러 턴의 오디오가 없어 모델의 음성 출력을 평가할 수 없음. 19. Other 위 분류에 포함되지 않는 눈에 띄는 문제가 있지만 전체 대화 품질에는 영향이 크지 않은 경우.