O Desafio de Reconhecimento Visual em Grande Escala ImageNet (ILSVRC) 2012 foi a terceira edição de um concurso anual de software no qual programas competem para classificar e detectar corretamente objetos e cenas do banco de dados ImageNet. O desafio de 2012 é amplamente considerado um ponto de virada na história da inteligência artificial, pois a entrada vencedora, uma rede neural chamada AlexNet, alcançou um erro top-5 de 15,3% no conjunto de teste, mais de 10,8 pontos percentuais abaixo do segundo colocado. Essa melhoria dramática demonstrou o poder das técnicas de aprendizado profundo e aprendizado de máquina, desencadeando uma onda de pesquisa e investimento que continua a moldar o campo.
O próprio projeto ImageNet foi iniciado pela pesquisadora de IA Fei-Fei Li em 2006, com o objetivo de expandir os dados disponíveis para treinar algoritmos de IA. Li se encontrou com a professora de Princeton Christiane Fellbaum, uma das criadoras do WordNet, em 2007, e posteriormente construiu o ImageNet usando os cerca de 22.000 substantivos do WordNet como ponto de partida. O banco de dados foi construído com a ajuda de anotação crowdsourced via Amazon Mechanical Turk, com a rotulagem começando em julho de 2008 e terminando em abril de 2010. O esforço envolveu 49.000 trabalhadores de 167 países filtrando e rotulando mais de 160 milhões de imagens candidatas, resultando em mais de 14 milhões de imagens anotadas manualmente em mais de 20.000 categorias.
História e Desenvolvimento
A ideia para o ImageNet surgiu da observação de Li de que a maior parte da pesquisa em IA na época se concentrava em modelos e algoritmos, em vez de dados. Ela foi inspirada por uma estimativa de 1987 de que a pessoa média reconhece cerca de 30.000 tipos diferentes de objetos. Em 2007, Li se encontrou com Christiane Fellbaum para discutir o projeto, e a reunião levou à decisão de construir o ImageNet a partir dos synsets de substantivos do WordNet. Li montou uma equipe de pesquisadores em Princeton, onde era professora assistente, e eles usaram o Amazon Mechanical Turk para classificar imagens.
O plano original previa 10.000 imagens por categoria, para 40.000 categorias em 400 milhões de imagens, cada uma verificada três vezes. No entanto, os humanos podem classificar no máximo 2 imagens por segundo, e nesse ritmo estimava-se que seriam necessários 19 anos-homem de trabalho sem descanso. A equipe apresentou o banco de dados pela primeira vez como um pôster na Conferência sobre Visão Computacional e Reconhecimento de Padrões (CVPR) de 2009, na Flórida, intitulado "ImageNet: A Preview of a Large-scale Hierarchical Dataset" (ImageNet: Uma Prévia de um Conjunto de Dados Hierárquico em Grande Escala).
Em 2009, Alex Berg sugeriu adicionar a localização de objetos como uma tarefa. Li abordou o concurso PASCAL Visual Object Classes para uma colaboração, o que resultou no início do Desafio de Reconhecimento Visual em Grande Escala ImageNet em 2010. O desafio usa uma lista reduzida de 1.000 classes não sobrepostas, em comparação com as 20 classes e 19.737 imagens do PASCAL VOC em 2010.
Significância para o Aprendizado Profundo
Em 30 de setembro de 2012, a AlexNet, uma rede neural convolucional (CNN), alcançou um erro top-5 de 15,3% no Desafio ImageNet 2012. Isso foi mais de 10,8 pontos percentuais abaixo do segundo colocado. O uso de redes neurais convolucionais foi viabilizado pelo uso de unidades de processamento gráfico (GPUs) durante o treinamento, que foi um ingrediente essencial da revolução do aprendizado profundo. De acordo com The Economist, "De repente, as pessoas começaram a prestar atenção, não apenas dentro da comunidade de IA, mas em toda a indústria de tecnologia como um todo."
A vitória da AlexNet é frequentemente citada como o gatilho para o boom do aprendizado profundo. Ela demonstrou que redes neurais poderiam alcançar resultados de ponta em tarefas visuais complexas, levando à rápida adoção de técnicas de aprendizado profundo em vários domínios, incluindo IA generativa e grandes modelos de linguagem. Em 2015, a AlexNet foi superada pela CNN muito profunda da Microsoft, com mais de 100 camadas, que venceu o concurso ImageNet 2015 com uma taxa de erro de 3,57% no conjunto de teste.
Andrej Karpathy estimou em 2014 que, com esforço concentrado, ele poderia alcançar uma taxa de erro de 5,1%, e cerca de 10 pessoas de seu laboratório alcançaram cerca de 12-13% com menos esforço. Estimou-se que, com esforço máximo, um humano poderia alcançar 2,4% de erro.
Composição do Conjunto de Dados
O ImageNet faz crowdsourcing do seu processo de anotação. Anotações em nível de imagem indicam a presença ou ausência de uma classe de objeto em uma imagem, como "há tigres nesta imagem" ou "não há tigres nesta imagem". Anotações em nível de objeto fornecem uma caixa delimitadora ao redor da parte visível do objeto indicado. O ImageNet usa uma variante do esquema amplo do WordNet para categorizar objetos, aumentado com 120 categorias de raças de cães para mostrar classificação de granulação fina.
Em 2012, o ImageNet era o maior usuário acadêmico do Mechanical Turk no mundo, com o trabalhador médio identificando 50 imagens por minuto. As estatísticas resumidas fornecidas em 30 de abril de 2010 mostraram um total de 21.841 synsets não vazios, 14.197.122 imagens, 1.034.908 imagens com anotações de caixa delimitadora e 1,2 milhão de imagens com características SIFT.
As categorias do ImageNet foram filtradas dos conceitos do WordNet. Cada conceito é chamado de "synset" (conjunto de sinônimos), e havia mais de 100.000 synsets no WordNet 3.0, com a maioria sendo substantivos (mais de 80.000). O ImageNet filtrou esses para 21.841 synsets que são substantivos contáveis que podem ser ilustrados visualmente. Cada synset tem um ID do WordNet (wnid), que começa com "n" porque o ImageNet inclui apenas substantivos. As categorias caem em 9 níveis, do nível 1 (como "mamífero") ao nível 9 (como "pastor alemão").
Formato e Pré-processamento de Imagens
As imagens foram coletadas de mecanismos de busca de imagens online (Google, Picsearch, MSN, Yahoo, Flickr) usando sinônimos em vários idiomas. O ImageNet consiste em imagens no formato RGB com resoluções variadas. Por exemplo, no ImageNet 2012, a categoria "peixe" tem resoluções que variam de 4288 x 2848 a 75 x 56. Em aprendizado de máquina, essas são tipicamente pré-processadas em uma resolução constante padrão e embranquecidas antes de processamento adicional por redes neurais.
Por exemplo, no PyTorch, as imagens do ImageNet são por padrão normalizadas dividindo os valores de pixel para que fiquem entre 0 e 1, depois subtraindo por [0,485, 0,456, 0,406], e então dividindo por [0,229, 0,224, 0,225]. Essas são as médias e desvios padrão para o ImageNet, então isso embranquece os dados de entrada.
Rótulos e Anotações
Cada imagem é rotulada com exatamente um wnid. Características SIFT densas (descritores SIFT brutos, codewords quantizados e coordenadas de cada descritor/codeword) para o ImageNet-1K estavam disponíveis para download, projetadas para saco de palavras visuais. As caixas delimitadoras dos objetos estavam disponíveis para cerca de 3.000 synsets populares, com em média 150 imagens em cada synset. Algumas imagens também têm anotações de atributos, embora os detalhes completos dessas não sejam especificados nas fontes disponíveis.