ACE 2005, conocido formalmente como el conjunto de datos de evaluación de Extracción Automática de Contenido 2005, es un corpus multilingüe desarrollado por el Instituto Nacional de Estándares y Tecnología de EE. UU. (NIST) para la investigación en extracción de información. Fue publicado en 2005 como parte del programa ACE, cuyo objetivo era avanzar en las tecnologías para detectar y caracterizar entidades, relaciones y eventos en texto en lenguaje natural. El conjunto de datos se ha convertido en un estándar de referencia en el procesamiento del lenguaje natural (PLN), particularmente para tareas como el reconocimiento de entidades nombradas, la extracción de relaciones y la extracción de eventos.
El corpus consta de documentos anotados en tres idiomas: inglés, chino y árabe. La parte en inglés incluye aproximadamente 600 documentos provenientes de diversas fuentes, como noticias de agencia, noticias transmitidas, conversaciones transmitidas y blogs. Las partes en chino y árabe son más pequeñas pero igualmente diversas. Las anotaciones cubren siete tipos de entidades (por ejemplo, persona, organización, ubicación), seis tipos de relaciones (por ejemplo, físicas, parte-todo, personales/sociales) y ocho tipos de eventos (por ejemplo, conflicto, vida, movimiento). Cada mención de entidad está vinculada a una entidad canónica, y se identifican relaciones entre entidades. Las anotaciones de eventos incluyen desencadenantes, argumentos y menciones de eventos.
ACE 2005 se utiliza a menudo junto con los conjuntos de datos ACE 2004 y ACE 2002, pero es el más reciente y el más ampliamente adoptado. Ha sido fundamental en el desarrollo de muchos sistemas de última generación, incluidos aquellos basados en aprendizaje profundo y modelos de lenguaje grandes. El conjunto de datos es distribuido por el Consorcio de Datos Lingüísticos (LDC) bajo el número de catálogo LDC2006T06.
Esquema de Anotación
El esquema de anotación en ACE 2005 es jerárquico. Las entidades se clasifican en tipos generales y subtipos. Por ejemplo, una entidad de persona puede tener subtipos como individuo, grupo o indefinido. Las relaciones se categorizan en tipos y subtipos, siendo los argumentos menciones de entidades. Los eventos son más complejos: cada mención de evento tiene un desencadenante (una palabra o frase que evoca el evento), argumentos (participantes y atributos) y una modalidad (por ejemplo, afirmado, negado). El conjunto de datos también incluye correferencia entre documentos, vinculando menciones de la misma entidad en diferentes documentos.
Uso en Investigación
ACE 2005 ha sido un punto de referencia principal para la investigación en extracción de información. Muchos sistemas tempranos utilizaron enfoques basados en características, como máquinas de vectores de soporte y modelos de máxima entropía. Con la llegada del aprendizaje profundo, se aplicaron arquitecturas neuronales como LSTMs bidireccionales y redes convolucionales. Más recientemente, los modelos basados en transformadores, como BERT y sus variantes, han logrado resultados de última generación en ACE 2005. El conjunto de datos también se utiliza para la extracción conjunta de entidades y relaciones, extracción de eventos y aprendizaje de transferencia entre idiomas.
Limitaciones y Críticas
A pesar de su popularidad, ACE 2005 tiene limitaciones. Las pautas de anotación son complejas y el conjunto de datos es relativamente pequeño, lo que puede llevar a un sobreajuste. Los documentos provienen de un período de tiempo limitado (2003-2004), y el dominio es principalmente noticias de agencia y transmisiones, lo que puede no generalizarse a otros géneros. Además, la calidad de la anotación varía entre idiomas, y algunos tipos de eventos son raros. Los investigadores han propuesto extensiones y alternativas, como los conjuntos de datos TAC-KBP y los conjuntos de datos ERE (Entidad, Relación, Evento) más recientes.
Conjuntos de Datos Relacionados y Legado
ACE 2005 es parte de una familia más amplia de conjuntos de datos ACE, incluidos ACE 2002 y ACE 2004. Ha influido en el diseño de corpus posteriores como el conjunto de datos Rich ERE y el conjunto de datos de Extracción de Argumentos de Eventos. El conjunto de datos sigue siendo un estándar en la comunidad de PLN, y sus métricas de evaluación (por ejemplo, F1 de menciones de entidades, F1 de relaciones, F1 de desencadenantes y argumentos de eventos) son ampliamente utilizadas. Muchos kits de herramientas de código abierto, como Stanford CoreNLP y spaCy, proporcionan modelos entrenados en ACE 2005 para la extracción de entidades y relaciones.
Véase También
- Extracción de información
- Reconocimiento de entidades nombradas
- Extracción de relaciones
- Extracción de eventos
- Procesamiento del lenguaje natural
- Consorcio de Datos Lingüísticos
- NIST
- Aprendizaje profundo
- Transformador
- BERT
- Resolución de correferencia
- Aprendizaje entre idiomas
- TAC-KBP
- ERE
- Stanford CoreNLP
- spaCy
- Máquina de vectores de soporte
- Máxima entropía
- LSTM
- Red neuronal convolucional