El Penn Treebank (PTB) es un corpus de texto en inglés anotado con etiquetas de parte del discurso y árboles de estructura sintáctica de frases. Desarrollado en la Universidad de Pensilvania a principios de la década de 1990, se convirtió en un estándar de referencia para entrenar y evaluar sistemas de procesamiento del lenguaje natural (PLN). El nombre "Treebank" se refiere a las estructuras de análisis jerárquico, o árboles, que codifican las relaciones gramaticales entre las palabras de una oración.
Los lanzamientos iniciales se centraron en la sección del Wall Street Journal (WSJ) del corpus ACL Anthology, que comprende alrededor de 1 millón de palabras de texto periodístico. Versiones posteriores se expandieron para incluir otros géneros, como conversaciones telefónicas transcritas, noticias de transmisión y texto web. El esquema de anotación del PTB utiliza un conjunto de 36 etiquetas de parte del discurso (por ejemplo, NN para sustantivos singulares, VBD para verbos en pasado) y un conjunto de categorías de frases (por ejemplo, NP, VP, PP) con etiquetas para funciones gramaticales como sujeto y objeto.
Construcción y Anotación
El PTB fue construido por un equipo liderado por Mitchell Marcus en la Universidad de Pensilvania, con contribuciones de investigadores como Beatrice Santorini y Mary Ann Marcinkiewicz. El proceso de anotación involucró dos etapas principales: etiquetado de parte del discurso y delimitación sintáctica. Los anotadores humanos inicialmente asignaron etiquetas a cada token, seguido de una pasada separada para crear límites de frases. El libro de pautas, comúnmente conocido como las "Pautas de Delimitación", especificaba reglas detalladas para manejar la puntuación, la coordinación y otros fenómenos lingüísticos.
El corpus se lanzó de manera incremental a partir de 1993. La primera distribución pública, el Penn Treebank-1 (PTB-1), incluía 4.5 millones de palabras de texto analizado en varios géneros. Una versión más citada, el Penn Treebank-3 (PTB-3), lanzada en 1999, refinó las anotaciones y añadió las secciones del WSJ que se convirtieron en el estándar de facto para muchas tareas de PLN. La fecha exacta del primer lanzamiento fue marzo de 1993, según el catálogo del LDC.
Impacto en la Investigación de PLN
El PTB se convirtió en una piedra angular para la investigación en etiquetado de parte del discurso y análisis sintáctico. En las décadas de 1990 y 2000, evaluaciones competitivas como las tareas compartidas de CoNLL utilizaron conjuntos de datos derivados del PTB, impulsando el progreso en el análisis estadístico con modelos como gramáticas probabilísticas de contexto libre (PCFG) y analizadores lexicalizados. Por ejemplo, el analizador de eugene-charniak y el stanford-parser se reportaban frecuentemente con precisiones en los conjuntos de prueba del PTB.
Más allá del análisis sintáctico, las secciones del WSJ del PTB se reutilizaron para muchas otras tareas, incluyendo reconocimiento de entidades nombradas y etiquetado de roles semánticos. El corpus también informó el desarrollo de NLTK y spaCy al proporcionar anotaciones de referencia dorada para entrenamiento y evaluación. Los enfoques modernos de aprendizaje automático en aprendizaje profundo, como redes neuronales recurrentes y transformadores, aún reportan números de perplejidad o precisión en datos del PTB, aunque su uso ha disminuido en la era de los grandes modelos de lenguaje grandes preentrenados.
Estándar de Referencia y Variantes
Una configuración experimental común es el punto de referencia de modelado de lenguaje a nivel de palabra del PTB, donde las divisiones de entrenamiento, validación y prueba corresponden a las secciones 0-20, 21-22 y 23-24 del WSJ, respectivamente. Esta división, establecida por Tomáš Mikolov y colegas en 2010, permitió comparaciones reproducibles entre modelos. El punto de referencia implica predecir la siguiente palabra dado el contexto anterior, con el rendimiento medido por perplejidad. Muchos modelos tempranos de redes neuronales de lenguaje, como LSTM y GRU, lograron reducciones significativas de perplejidad en este punto de referencia.
El PTB también generó varias variantes de anotación, incluyendo la ? y las conversiones de Universal Dependencies, que mapean el conjunto de etiquetas original a un esquema de anotación translingüístico. El conjunto de datos de N-gramas Sintácticos de Google, lanzado por Google en 2015, derivó n-gramas con contexto de análisis circundante de anotaciones estilo PTB, extendiendo aún más su alcance.
Limitaciones y Críticas
El PTB tiene limitaciones notables. Su dominio predominante de noticias y su tamaño relativamente pequeño (alrededor de 1 millón de palabras del WSJ) limitan la generalización a otros tipos de texto. Se han documentado inconsistencias en la anotación, particularmente en torno a la puntuación y ciertas construcciones verbales. Además, el corpus refleja el inglés de un período de tiempo específico (finales de la década de 1980 a principios de la de 1990), que puede no capturar el uso contemporáneo.
Los críticos han señalado que el rendimiento en el PTB no siempre se correlaciona con la robustez del análisis sintáctico en el mundo real, ya que la simplicidad del punto de referencia puede enmascarar problemas como la generalización fuera de distribución. Como resultado, los investigadores se han movido hacia corpus más grandes y diversos, incluyendo conjuntos de datos basados en Wikipedia y recursos multilingües.
Legado y Uso Continuado
A pesar de su antigüedad, el PTB sigue siendo influyente como recurso pedagógico y como verificación de cordura para nuevos modelos. Sus pautas de anotación informaron treebanks posteriores para otros idiomas, como el Chinese Treebank y el Arabic Treebank, ambos también producidos en la Universidad de Pensilvania. El PTB está alojado por el Consorcio de Datos Lingüísticos (LDC) y requiere una licencia para su redistribución.
En el contexto de la inteligencia artificial moderna, el papel del PTB ha disminuido pero no ha desaparecido. Por ejemplo, los libros de texto y cursos de aprendizaje profundo aún usan el PTB como un conjunto de datos simple para prototipar modelos de secuencias. Su naturaleza estructurada también lo hace útil para estudiar la estructura lingüística en modelos neuronales. El corpus sigue siendo un punto de referencia para comprender la trayectoria histórica del PLN, desde sistemas basados en reglas hasta métodos estadísticos basados en datos y más allá.
Pautas de Anotación y Documentación
El PTB está documentado en varios informes técnicos y manuales de usuario, más notablemente "The Penn Treebank: Annotating Predicate Argument Structure" (1994) de Marcus et al., que detallaba el esquema de anotación. La distribución oficial del LDC incluye instrucciones para convertir entre formatos de archivo. El conjunto de etiquetas y las pautas han sido ampliamente adoptados y aún se enseñan en cursos de lingüística computacional.