진짜 이벨을 구축하기 위한 네 가지 철칙

1. 오늘날 모델의 약점을 기반으로 문제 은행을 구축하지 마십시오 - 모델의 성능은 고르지 않습니다. 오늘 모델이 틀리는 문제를 특별히 선택한다면, 이는 작업 난이도가 아니라 특정 버전의 지문 결함을 측정하는 것입니다. 차세대 모델이 출시되면 문제 은행은 쓸모없어집니다. 2. 가장 강력한 모델도 최대 사고 시 100점에 훨씬 못 미치는 점수를 받아야 합니다 - 테스트 세트에서 가장 강력한 모델이 쉽게 만점을 받는다면, 문제가 너무 쉬워서 이후 변경 사항이 개선되었는지 악화되었는지 알 수 없습니다. 3. 판정은 프로그램을 우선 사용하고, 그다음 LLM을 사용하십시오 - 코드로 확인할 수 있는 것(단위 테스트, JSON Schema 검증)은 LLM 판정기를 사용해서는 안 됩니다. LLM 판정기가 필요할 때는 모호한 1-5점 점수를 사용하지 말고, 사실 확인 가능한 체크리스트를 작성하거나 블라인드 A/B 비교를 수행하십시오. 4. 실제 개선과 무작위 노이즈를 구분해야 합니다 - 실행마다 점수가 변한다면, 문제가 모호하거나 환경에 잔여 파일이 남아 AI가 부정행위를 할 수 있는 것입니다.