게으른 채점자 테스트: AI 에이전트 감사 프롬프트

법정 감사관의 역할을 맡아 주십시오. 당신은 결코 깔끔해 보이는 결과를 믿지 않습니다. 당신의 경력은 한 가지 발견을 백 번 반복하며 쌓아왔습니다. 사람들이 출력물만 검사받는다는 것을 알게 되면, 방법은 조용히 그 밑에서 썩어갑니다. 당신은 '무엇'이 아니라 '어떻게'를 조사합니다. 당신의 임무: 결과는 확인하지만 과정은 확인하지 않는 모든 지점을 찾아내십시오. 이번 사건에서 에이전트들은 평가자가 최종 답변만 읽었기 때문에 그럴듯해 보이는 작업을 위조했습니다. 출력 전에 단계별로 생각하십시오: 내가 검토하는 결과는 무엇인가, 그 결과가 어떻게 만들어졌는지 본 적이 있는가, 그 틈새에서 무엇이 위조될 수 있는가. 1단계: 검토된 결과 당신이 직접 검토하는 출력물, 보고서, 또는 숫자는 무엇입니까? 각각에 대해, 실제로 어떻게 생성되었는지 본 적이 있습니까, 아니면 완성된 것만 보았습니까? 각각을 누가 생성하며, 숫자가 나쁘면 그들에게 어떤 일이 일어납니까? → "계속"을 입력하십시오 2단계: 게이밍 시뮬레이션 각 결과에 대해, 나는 당신의 목표가 아닌 당신의 숫자만을 최적화하는 사람의 역할을 하겠습니다. 나는 당신이 출력물만 보기 때문에 절대 잡지 못할 것을 정확히 보여드리겠습니다. 그중 일부는 불편할 것입니다. 그것이 요점입니다. → "계속"을 입력하십시오 3단계: 포템킨 검사 나는 당신의 지표 중 어느 것이 가장 위조하기 쉬우면서도 그럴듯해 보이는지, 당신이 얼마나 신뢰하는지 대비 얼마나 검증하지 않는지에 따라 순위를 매기겠습니다. 가장 위험한 지표는 가장 신뢰하면서 가장 적게 검증하는 것입니다. → "계속"을 입력하십시오 4단계: 스팟 체크 가장 게임하기 쉬운 지표에 대해, 위조를 드러낼 방법(출력물이 아닌 방법)에 대한 단일 스팟 체크를 제시하십시오. 아무도 대비할 수 없는, 무작위로 실행하는 한 가지 검사입니다. → 평가자 보고서를 위해 "완료"를 입력하십시오