ImageNet é um banco de dados visual em larga escala projetado para uso em pesquisas de software de reconhecimento de objetos visuais. Ele contém mais de 14 milhões de imagens anotadas manualmente, com mais de 20.000 categorias, cada uma normalmente consistindo em várias centenas de imagens. Pelo menos um milhão de imagens incluem anotações de caixas delimitadoras. O banco de dados de anotações e URLs de imagens de terceiros está disponível gratuitamente, embora as imagens reais não pertençam ao ImageNet. Desde 2010, o projeto realiza um concurso anual de software, o ImageNet Large Scale Visual Recognition Challenge (ILSVRC), onde programas competem para classificar e detectar objetos e cenas usando uma lista reduzida de mil classes não sobrepostas.
O projeto originou-se da visão da pesquisadora de IA Fei-Fei Li, que buscava expandir os dados disponíveis para treinar algoritmos de IA em uma época em que a maioria das pesquisas se concentrava em modelos e algoritmos. Desde então, o ImageNet tornou-se uma pedra angular da revolução do aprendizado profundo, possibilitando avanços na visão computacional e influenciando o campo mais amplo da inteligência artificial.
História
Fei-Fei Li começou a trabalhar na ideia do ImageNet em 2006. Em 2007, ela se reuniu com a professora de Princeton Christiane Fellbaum, uma das criadoras do WordNet, para discutir o projeto. Esse encontro levou Li a construir o ImageNet a partir dos aproximadamente 22.000 substantivos do WordNet e usando muitos de seus recursos. Ela também foi inspirada por uma estimativa de 1987 de que a pessoa média reconhece cerca de 30.000 tipos diferentes de objetos.
Como professora assistente em Princeton, Li montou uma equipe de pesquisadores para trabalhar no projeto. Eles usaram o Amazon Mechanical Turk para ajudar na classificação das imagens. A rotulagem começou em julho de 2008 e terminou em abril de 2010, envolvendo 49.000 trabalhadores de 167 países que filtraram e rotularam mais de 160 milhões de imagens candidatas. O orçamento permitiu que cada uma das 14 milhões de imagens fosse rotulada três vezes.
O plano original previa 10.000 imagens por categoria em 40.000 categorias, totalizando 400 milhões de imagens, cada uma verificada três vezes. No entanto, os humanos podem classificar no máximo duas imagens por segundo, e nesse ritmo estimou-se que seriam necessários 19 anos-homem de trabalho sem descanso. O plano completo não foi alcançado.
O banco de dados foi apresentado pela primeira vez como um pôster na Conferência de Visão Computacional e Reconhecimento de Padrões (CVPR) de 2009, na Flórida, intitulado "ImageNet: A Preview of a Large-scale Hierarchical Dataset". O pôster foi reutilizado na Vision Sciences Society 2009.
Em 2009, Alex Berg sugeriu adicionar a localização de objetos como uma tarefa. Li abordou o concurso PASCAL Visual Object Classes para uma colaboração, o que resultou no ImageNet Large Scale Visual Recognition Challenge a partir de 2010. O desafio tinha 1.000 classes e localização de objetos, em comparação com o PASCAL VOC, que tinha apenas 20 classes e 19.737 imagens em 2010.
Importância para o Aprendizado Profundo
Em 30 de setembro de 2012, uma rede neural convolucional (CNN) chamada AlexNet alcançou um erro top-5 de 15,3% no Desafio ImageNet 2012, mais de 10,8 pontos percentuais abaixo do segundo colocado. O uso de unidades de processamento gráfico (GPUs) durante o treinamento tornou isso viável, um ingrediente essencial da revolução do aprendizado profundo. De acordo com The Economist, "De repente, as pessoas começaram a prestar atenção, não apenas dentro da comunidade de IA, mas em toda a indústria de tecnologia como um todo."
Em 2015, a AlexNet foi superada pela CNN muito profunda da Microsoft, com mais de 100 camadas, que venceu o concurso ImageNet 2015 com um erro de 3,57% no conjunto de teste. Andrej Karpathy estimou em 2014 que, com esforço concentrado, ele poderia alcançar uma taxa de erro de 5,1%, e cerca de 10 pessoas de seu laboratório alcançaram cerca de 12-13% com menos esforço. Estimou-se que, com esforço máximo, um humano poderia alcançar 2,4%.
Esses resultados demonstraram o poder das arquiteturas de aprendizado profundo e redes neurais, acelerando a adoção de técnicas de aprendizado de máquina em toda a indústria de tecnologia.
Conjunto de Dados
O ImageNet terceiriza seu processo de anotação. Anotações em nível de imagem indicam a presença ou ausência de uma classe de objeto em uma imagem, como "há tigres nesta imagem" ou "não há tigres nesta imagem". Anotações em nível de objeto fornecem uma caixa delimitadora ao redor da parte visível do objeto indicado. O ImageNet usa uma variante do esquema amplo do WordNet para categorizar objetos, aumentado com 120 categorias de raças de cães para demonstrar classificação de granularidade fina.
Em 2012, o ImageNet era o maior usuário acadêmico do Mechanical Turk no mundo. O trabalhador médio identificava 50 imagens por minuto.
As estatísticas resumidas fornecidas em 30 de abril de 2010:
- Número total de synsets não vazios: 21.841
- Número total de imagens: 14.197.122
- Número de imagens com anotações de caixas delimitadoras: 1.034.908
- Número de synsets com características SIFT: 1.000
- Número de imagens com características SIFT: 1,2 milhão
Categorias
As categorias do ImageNet foram filtradas a partir de conceitos do WordNet. Cada conceito, como pode conter múltiplos sinônimos (por exemplo, "kitty" e "young cat"), é chamado de "conjunto de sinônimos" ou "synset". Havia mais de 100.000 synsets no WordNet 3.0, a maioria sendo substantivos (mais de 80.000). O conjunto de dados do ImageNet filtrou esses para 21.841 synsets que são substantivos contáveis que podem ser ilustrados visualmente.
Cada synset no WordNet 3.0 tem um "ID do WordNet" (wnid), que é uma concatenação da classe gramatical e um "offset" (um número de identificação único). Todo wnid começa com "n" porque o ImageNet inclui apenas substantivos. Por exemplo, o wnid do synset "dog, domestic dog, Canis familiaris" é "n02084071".
As categorias no ImageNet se dividem em 9 níveis, do nível 1 (como "mamífero") ao nível 9 (como "pastor alemão").
Formato de Imagem
As imagens foram extraídas de mecanismos de busca de imagens online (Google, Picsearch, MSN, Yahoo, Flickr, etc.) usando sinônimos em vários idiomas. Por exemplo, para pastor alemão, os termos de busca incluíam "German police dog", "Alsatian", "ovejero alemán", "pastore tedesco" e "德国牧羊犬".
O ImageNet consiste em imagens no formato RGB com resoluções variadas. Por exemplo, no ImageNet 2012, a categoria "peixe" tem resoluções que variam de 4288 x 2848 a 75 x 56. Em aprendizado de máquina, essas são tipicamente pré-processadas em uma resolução constante padrão e branqueadas antes de processamento adicional por redes neurais. Por exemplo, no PyTorch, as imagens do ImageNet são normalizadas dividindo os valores de pixel para ficarem entre 0 e 1, depois subtraindo por [0,485, 0,456, 0,406] e dividindo por [0,229, 0,224, 0,225]. Esses são as médias e desvios padrão do ImageNet, então isso branqueia os dados de entrada.
Rótulos e Anotações
Cada imagem é rotulada com exatamente um wnid. Características SIFT densas (descritores SIFT brutos, palavras-código quantizadas e coordenadas de cada descritor/palavra-código) para ImageNet-1K estavam disponíveis para download, projetadas para saco de palavras visuais. As caixas delimitadoras dos objetos estavam disponíveis para cerca de 3.000 synsets populares com uma média de 150 imagens em cada synset. Além disso, algumas imagens têm anotações de atributos, embora a extensão completa dessas não seja detalhada aqui.
Legado
A criação do ImageNet marcou uma mudança em direção a abordagens centradas em dados na IA, influenciando conjuntos de dados e benchmarks subsequentes. Seu desafio anual tornou-se um padrão para medir o progresso na visão computacional, e seu sucesso catalisou o crescimento da IA generativa e outras aplicações de IA. O conjunto de dados permanece um recurso fundamental para treinar e avaliar modelos, e seu impacto se estende a campos como direção autônoma e imagens médicas.
Apesar de suas conquistas, o ImageNet também levantou questões sobre viés e qualidade de anotação, provocando discussões na comunidade de IA sobre curadoria de conjuntos de dados e ética. No entanto, seu papel no desenvolvimento da IA moderna é indiscutível, e ele continua sendo amplamente usado em pesquisa e indústria.