펜 트리뱅크(Penn Treebank, PTB)는 품사 태그와 구문 구조 트리로 주석이 달린 영어 텍스트 말뭉치이다. 1990년대 초 펜실베이니아 대학에서 개발되었으며, 자연어 처리(NLP) 시스템을 훈련하고 평가하기 위한 표준 벤치마크가 되었다. "트리뱅크"라는 이름은 문장 내 단어들 사이의 문법적 관계를 인코딩하는 계층적 구문 분석 구조, 즉 트리를 가리킨다.
초기 릴리스는 ACL 말뭉치의 월스트리트 저널(WSJ) 섹션에 초점을 맞추었으며, 약 100만 단어의 뉴스 텍스트로 구성되었다. 이후 버전은 전사된 전화 대화, 방송 뉴스, 웹 텍스트와 같은 다른 장르로 확장되었다. PTB 주석 체계는 36개의 품사 태그 집합(예: 단수 명사의 경우 NN, 과거 시제 동사의 경우 VBD)과 주어 및 목적어와 같은 문법 기능에 대한 레이블이 있는 구문 범주 집합(예: NP, VP, PP)을 사용한다.
구축 및 주석
PTB는 펜실베이니아 대학의 미첼 마커스(Mitchell Marcus)가 이끄는 팀에 의해 구축되었으며, 베아트리스 산토리니(Beatrice Santorini)와 메리 앤 마르키에비츠(Mary Ann Marcinkiewicz)를 포함한 연구자들이 기여했다. 주석 과정은 품사 태깅과 구문 괄호 붙이기의 두 가지 주요 단계를 포함했다. 인간 주석자는 먼저 각 토큰에 태그를 할당한 다음, 별도의 과정을 통해 구 경계를 만들었다. 일반적으로 "괄호 붙이기 지침(Bracketing Guidelines)"으로 알려진 지침서는 구두점, 접속, 기타 언어 현상을 처리하기 위한 세부 규칙을 명시했다.
말뭉치는 1993년부터 점진적으로 릴리스되었다. 첫 번째 공개 배포판인 펜 트리뱅크-1(PTB-1)은 다양한 장르에 걸쳐 450만 단어의 구문 분석 텍스트를 포함했다. 더 널리 인용되는 버전인 펜 트리뱅크-3(PTB-3)은 1999년에 릴리스되었으며, 주석을 개선하고 많은 NLP 작업의 사실상 표준이 된 WSJ 섹션을 추가했다. LDC 카탈로그에 따르면 첫 번째 릴리스의 정확한 날짜는 1993년 3월이었다.
NLP 연구에 미친 영향
PTB는 품사 태깅 및 구문 분석 연구의 초석이 되었다. 1990년대와 2000년대에는 CoNLL 공유 과제와 같은 경쟁 평가에서 PTB 파생 데이터셋을 사용하여 확률적 문맥 자유 문법(PCFG) 및 어휘화 파서와 같은 모델을 사용한 통계적 구문 분석의 발전을 주도했다. 예를 들어, 유진 차르니악(Eugene Charniak)의 파서와 스탠포드 파서는 PTB 테스트 세트에서 정확도가 자주 보고되었다.
구문 분석 외에도 PTB의 WSJ 섹션은 개체명 인식 및 의미역 표지와 같은 다른 많은 작업에 재사용되었다. 이 말뭉치는 또한 훈련 및 평가를 위한 금본위 주석을 제공함으로써 NLTK와 spaCy의 개발에 기여했다. 머신 러닝 및 딥 러닝의 현대적 접근 방식, 예를 들어 순환 신경망과 트랜스포머는 여전히 PTB 데이터에 대한 혼잡도 또는 정확도를 보고하지만, 대규모 사전 훈련된 대규모 언어 모델 시대에는 그 사용이 감소했다.
표준 벤치마크 및 변형
일반적인 실험 설정은 PTB 단어 수준 언어 모델링 벤치마크로, 훈련, 검증 및 테스트 분할이 각각 WSJ 섹션 0-20, 21-22 및 23-24에 해당한다. 2010년 토마시 미콜로프(Tomáš Mikolov)와 동료들이 확립한 이 분할은 모델 간의 재현 가능한 비교를 가능하게 했다. 이 벤치마크는 이전 문맥이 주어졌을 때 다음 단어를 예측하는 것을 포함하며, 성능은 혼잡도로 측정된다. 신경망 언어 모델의 초기 사례인 LSTM과 GRU를 포함한 많은 모델이 이 벤치마크에서 상당한 혼잡도 감소를 달성했다.
PTB는 또한 여러 주석 변형을 파생시켰으며, 여기에는 Universal Dependencies 변환(원래 태그셋을 교차 언어 주석 체계로 매핑)이 포함된다. 2015년 Google이 릴리스한 Google Syntactic N-grams 데이터셋은 PTB 스타일 주석에서 주변 구문 문맥이 있는 n-gram을 파생하여 그 범위를 더욱 확장했다.
한계 및 비판
PTB에는 주목할 만한 한계가 있다. 주요 뉴스 도메인과 상대적으로 작은 규모(WSJ 약 100만 단어)는 다른 텍스트 유형으로의 일반화 가능성을 제한한다. 구두점 및 특정 동사 구성과 관련된 주석 불일치도 문서화되었다. 또한 이 말뭉치는 1980년대 후반에서 1990년대 초반의 특정 시기의 영어를 반영하므로 현대적 용법을 포착하지 못할 수 있다.
비평가들은 PTB에서의 성능이 항상 실제 세계의 구문 분석 견고성과 상관관계가 있는 것은 아니라고 지적한다. 벤치마크의 단순성이 분포 외 일반화와 같은 문제를 가릴 수 있기 때문이다. 그 결과 연구자들은 위키백과 기반 데이터셋과 다국어 자원을 포함한 더 크고 다양한 말뭉치로 이동했다.
유산 및 지속적 사용
오래되었음에도 불구하고 PTB는 새로운 모델의 온전성 검사이자 교육 자원으로서 영향력을 유지하고 있다. 그 주석 지침은 펜실베이니아 대학에서 제작된 중국어 트리뱅크 및 아랍어 트리뱅크와 같은 다른 언어의 트리뱅크에도 영향을 미쳤다. PTB는 언어 데이터 컨소시엄(LDC)이 호스팅하며 재배포에는 라이선스가 필요하다.
인공지능의 현대적 맥락에서 PTB의 역할은 줄어들었지만 사라지지는 않았다. 예를 들어, 딥 러닝 교과서와 강좌에서는 여전히 시퀀스 모델의 프로토타입을 만들기 위해 PTB를 사용한다. 그 구조화된 특성은 신경망 모델의 언어 구조를 연구하는 데 유용하게 만든다. 이 말뭉치는 규칙 기반 시스템에서 데이터 기반 통계 방법으로, 그리고 그 너머로 이어지는 NLP의 역사적 궤적을 이해하기 위한 참조점으로 남아 있다.
주석 지침 및 문서
PTB는 여러 기술 보고서와 사용자 매뉴얼에 문서화되어 있으며, 가장 주목할 만한 것은 1994년 마커스 외가 저술한 "The Penn Treebank: Annotating Predicate Argument Structure"로, 공식 주석 체계를 상세히 설명했다. LDC의 공식 배포에는 파일 형식 간 변환 지침이 포함되어 있다. 태그셋과 지침은 널리 채택되었으며 컴퓨터 언어학 과정에서 여전히 가르쳐지고 있다.