벤치마크 모음: SWE-Bench, GAIA, ToolBench

팀 간에 모델과 프레임워크를 비교하려면 공개 벤치마크가 필수적입니다. 공개 벤치마크는 일반적인 에이전트 기능을 다룹니다:

• SWE-Bench — 소프트웨어 공학 작업
• GAIA — 범용 도우미 작업
• ToolBench / BFCL — 도구 사용
• WebArena — 브라우저 탐색

SWE-Bench는 에이전트가 실제 GitHub 이슈를 해결할 수 있는지 테스트합니다:

• 인기 Python 저장소의 실제 이슈 2294개
• 에이전트는 숨겨진 모든 테스트를 통과하는 패치를 만들어야 함
• 현재 최첨단 에이전트는 50~70%를 해결함(2023년에는 5% 미만)

OpenAI는 더 엄격한 품질 검사를 적용한 500개 이슈 하위 집합인 SWE-Bench Verified를 출시했습니다. 이는 업계 표준입니다.

범용 AI 도우미 벤치마크(Meta + HF, 2023):

• 세 가지 난이도에 걸친 466개 질문
• 웹 탐색, 코드 실행, 멀티모달 추론이 필요함
• 사람이 약 30초 걸리도록 설계되었으며, 최상위 에이전트는 약 60%에 도달함

"Mercedes Sosa의 영어 Wikipedia 페이지에 있는 목록을 사용하여 1972년부터 1985년 사이에 발매된 스튜디오 앨범은 몇 장입니까?"

웹 탐색, 표 읽기, 개수 세기가 필요하며 다단계 에이전트 작업의 전형적인 예입니다.

도구 호출 평가의 표준입니다:

• 수천 개의 (질의, 도구 정의, 예상 호출) 조합
• 단순 호출, 병렬 호출, 도구 누락 상황을 포함
• 분기마다 업데이트

더 크지만 더 복잡합니다. RapidAPI의 16k개 이상의 API와 다단계 도구 연쇄를 포함합니다. BFCL보다 표준성은 낮지만 더 넓은 범위를 다룹니다.

웹 탐색 에이전트를 위한 오픈 소스 벤치마크입니다. 서로 독립적인 웹사이트 4개(전자상거래, 포럼, 개발자 포털, GitLab)를 제공하며, 에이전트는 현실적인 작업을 완료해야 합니다.

• 공개 벤치마크가 학습 데이터에 포함됨(점수 조작 위험)
• 단일 도메인으로 구성됨 — 사용자의 작업은 더 어려울 수도, 더 쉬울 수도 있음
• "X% 해결"이라는 표현은 어떤 X%인지 अस्पष्ट하게 만듦 — 롱테일이 중요함

공개 벤치마크는 접근 방식을 비교하는 데 유용합니다. 하지만 YOUR 데이터로 만든 자체 골드 세트의 수치만이 YOUR 제품에 중요한 유일한 수치입니다.

건전한 팀의 관행은 다음과 같습니다:

• 최첨단 기능을 추적하기 위해 분기마다 공개 벤치마크 실행
• 모든 PR마다 내부 평가 실행
• 의사 결정에는 내부 수치를 신뢰하고, 업계 동향 파악에는 공개 수치를 활용

논문에서 "SWE-Bench 75%"라고 말할 때:

• 어떤(WHICH) SWE-Bench인지 확인(Lite, Verified, 전체)
• 여러 번 시도할 수 있었는지 확인
• 숨겨진 도구나 힌트를 사용했는지 확인

눈에 띄는 수치는 쉽게 잘못 해석할 수 있습니다.

제품에는 어느 쪽이 더 중요합니까(WHICH)?

코드 에이전트에는 SWE-Bench, 범용 도우미에는 GAIA, 도구 사용에는 BFCL, 브라우저에는 WebArena를 사용합니다. 업계 동향을 파악하는 데 활용하되, 의사 결정에는 자체 평가를 신뢰하십시오.