ACE 2005, formalmente conhecido como o conjunto de dados de avaliação Automatic Content Extraction 2005, é um corpus multilíngue desenvolvido pelo Instituto Nacional de Standards e Tecnologia dos EUA (NIST) para pesquisa em extração de informações. Foi lançado em 2005 como parte do programa ACE, que visava avançar tecnologias para detectar e caracterizar entidades, relações e eventos em texto em linguagem natural. O conjunto de dados se tornou um padrão de referência no processamento de linguagem natural (PLN), particularmente para tarefas como reconhecimento de entidades nomeadas, extração de relações e extração de eventos.
O corpus consiste em documentos anotados em três idiomas: inglês, chinês e árabe. A porção em inglês incluye aproximadamente 600 documentos provenientes de várias fontes, incluindo noticias de agências, noticias transmitidas, conversas transmitidas e blogs. As porções em chinês e árabe são menores, mas igualmente diversas. As anotações cobrem sete tipos de entidades (por exemplo, pessoa, organização, localização), seis tipos de relações (por exemplo, física, parte-todo, pessoal/social) e oito tipos de eventos (por exemplo, conflito, vida, movimento). Cada menção de entidade é vinculada a uma entidade canónica, e relações são identificadas entre entidades. As anotações de eventos incluyen gatillos, argumentos e menções de eventos.
ACE 2005 é frequentemente usado em conjunto com os conjuntos de dados ACE 2004 e ACE 2002, mas é o mais recente e o mais amplamente adotado. Tem sido instrumental no desenvolvimento de muitos sistemas de última geração, incluindo aqueles baseados em aprendizado profundo e grandes modelos de linguagem. O conjunto de dados é distribuido pelo Linguistic Data Consortium (LDC) sob o número de catálogo LDC2006T06.
Esquema de Anotação
O esquema de anotação em ACE 2005 é hierárquico. As entidades são classificadas em tipos grossos e subtipos. Por exemplo, uma entidade de pessoa pode ter subtipos como individual, grupo ou indefinido. As relações são categorizadas em tipos e subtipos, com argumentos sendo menções de entidades. Os eventos são mais complexos: cada menção de evento tem um gatillo (uma palavra ou frase que evoca o evento), argumentos (participantes e atributos) e uma modalidade (por exemplo, afirmado, negado). O conjunto de dados também incluye coreferência entre documentos, vinculando menções da mesma entidade em diferentes documentos.
Uso na Pesquisa
ACE 2005 tem sido um padrão de referência primário para pesquisa em extração de informações. Muitos sistemas iniciais usavam abordagens baseadas em características, como máquinas de vectores de suporte e modelos de entropía máxima. Com o advento do aprendizado profundo, arquitecturas neuronales como LSTMs bidireccionales e redes convolucionales foram aplicadas. Más recentemente, modelos baseados em transformadores, como BERT e suas variantes, alcanzaron resultados de última generación en ACE 2005. El conjunto de datos también se usa para extracción conjunta de entidades y relaciones, extracción de eventos y aprendizaje de transferencia entre idiomas.
Limitaciones y Críticas
A pesar de su popularidad, ACE 2005 tiene limitaciones. Las guías de anotación son complejas, y el conjunto de datos es relativamente pequeño, lo que puede llevar a sobreajuste. Los documentos son de un período de tiempo limitado (2003-2004), y el dominio es mayormente noticias de agencias y transmisiones, lo que puede no generalizar a otros géneros. Además, la calidad de la anotación varía entre idiomas, y algunos tipos de eventos son raros. Los investigadores han propuesto extensiones y alternativas, como los conjuntos de datos TAC-KBP y los más recientes conjuntos de datos ERE (Entidad, Relación, Evento).
Conjuntos de Datos Relacionados y Legado
ACE 2005 es parte de una familia más amplia de conjuntos de datos ACE, incluyendo ACE 2002 y ACE 2004. Ha influido en el diseño de corpus posteriores como el conjunto de datos Rich ERE y el conjunto de datos de Extracción de Argumentos de Eventos. El conjunto de datos sigue siendo un estándar en la comunidad de PLN, y sus métricas de evaluación (por ejemplo, F1 de mención de entidad, F1 de relación, F1 de gatillo y argumento de evento) son ampliamente utilizadas. Muchos kits de herramientas de código abierto, como Stanford CoreNLP y spaCy, proporcionan modelos entrenados en ACE 2005 para extracción de entidades y relaciones.
Véase También
- Extracción de información
- Reconocimiento de entidades nombradas
- Extracción de relaciones
- Extracción de eventos
- Procesamiento de lenguaje natural
- Linguistic Data Consortium
- NIST
- Aprendizaje profundo
- Transformador
- BERT
- Resolución de coreferencia
- Aprendizaje entre idiomas
- TAC-KBP
- ERE
- Stanford CoreNLP
- spaCy
- Máquina de vectores de soporte
- Entropía máxima
- LSTM
- Red neuronal convolucional