ObjectNet é um conjunto de dados de referência introduzido em 2019 para avaliar a robustez de modelos de reconhecimento de objetos sob mudanças de distribuição no mundo real. Ao contrário de conjuntos de dados padrão, como ImageNet, que frequentemente contêm imagens com pontos de vista canônicos e fundos limpos, ObjectNet contém deliberadamente imagens de objetos fotografados em ambientes cotidianos, de ângulos incomuns, com fundos desordenados e em orientações rotacionadas. O conjunto de dados compreende 50.000 imagens em 313 categorias de objetos, cada uma coletada especificamente para desafiar modelos treinados em conjuntos de dados convencionais. Seu propósito principal é medir quão bem um modelo generaliza além das regularidades estatísticas de sua distribuição de treinamento, uma propriedade crítica para implantar sistemas de Artificial intelligence em ambientes não controlados.
A criação do ObjectNet foi motivada pela observação de que muitos modelos de Deep learning de última geração alcançam alta precisão em referências padrão, mas falham dramaticamente quando testados em imagens que diferem de maneiras aparentemente menores. O conjunto de dados foi projetado por uma equipe liderada por Andrei Barbu no MIT Computer Science and Artificial Intelligence Laboratory (CSAIL), com colaboradores de outras instituições. As imagens foram coletadas por meio de crowdsourcing e depois filtradas para garantir que atendessem a critérios rigorosos de classe de objeto, ponto de vista, fundo e rotação. Cada imagem foi anotada com metadados descrevendo a rotação do objeto, o fundo da cena e o ponto de vista da câmera, permitindo que pesquisadores analisem modos de falha em detalhes.
Design e Coleta
A construção do ObjectNet envolveu um esforço de crowdsourcing em grande escala. Os trabalhadores foram instruídos a fotografar objetos em suas casas ou outros ambientes naturais, seguindo instruções específicas para variar o ângulo, o fundo e a rotação de cada objeto. Esse processo produziu imagens que são genuinamente fora da distribuição em relação aos conjuntos de treinamento típicos, porque capturam a variabilidade natural de cenas do mundo real. O conjunto de dados inclui 313 categorias, muitas das quais se sobrepõem às classes do ImageNet, mas as imagens em si são inteiramente novas e não provenientes de conjuntos de dados existentes. Os metadados de cada imagem incluem três atributos principais: rotação (a orientação do objeto no plano da imagem), fundo (o tipo de cena, como cozinha, banheiro ou escritório) e ponto de vista (o ângulo da câmera em relação ao objeto). Essa anotação estruturada permite uma avaliação granular do desempenho do modelo em diferentes tipos de mudança de distribuição.
Impacto na Avaliação de Modelos
Quando o ObjectNet foi lançado, ele expôs vulnerabilidades significativas em modelos de última geração. Por exemplo, um modelo que alcançava desempenho quase humano no ImageNet podia ver sua precisão cair em mais de 40 pontos percentuais no ObjectNet. Esse contraste marcante destacou que muitos modelos dependiam de correlações espúrias, como pistas de fundo ou poses típicas de objetos, em vez de aprender características visuais robustas. O conjunto de dados rapidamente se tornou uma referência padrão para pesquisa em robustez, ao lado de outros conjuntos de dados fora da distribuição, como ImageNet-C e ImageNet-A. Pesquisadores usaram o ObjectNet para avaliar técnicas como aumento de dados, adaptação de domínio e mudanças arquitetônicas, levando a melhorias na generalização de modelos. O conjunto de dados também estimulou o interesse em entender o papel da forma, textura e contexto no reconhecimento de objetos, com estudos mostrando que os modelos frequentemente priorizam textura sobre forma, um viés que as condições variadas do ObjectNet ajudam a expor.
Relação com Outras Referências
O ObjectNet ocupa um nicho único entre as referências de visão computacional. Ao contrário de referências de corrupção sintética que aplicam ruído ou desfoque artificial a imagens existentes, o ObjectNet consiste inteiramente em fotografias naturais, tornando-o um teste mais realista de desempenho no mundo real. Ele complementa referências como COCO e Pascal VOC, que focam em detecção e segmentação, ao fornecer um cenário controlado, mas naturalista, para classificação. A ênfase do conjunto de dados em rotação e ponto de vista também o conecta à pesquisa em compreensão de objetos 3D e interpretabilidade de Neural network. Como o conjunto de dados é relativamente pequeno em comparação ao ImageNet, ele é frequentemente usado como um conjunto de teste em vez de um conjunto de treinamento, embora alguns estudos tenham explorado o ajuste fino em uma parte dele para melhorar a robustez.
Limitações e Críticas
Apesar de suas contribuições, o ObjectNet tem limitações. As 313 categorias do conjunto de dados são um subconjunto da taxonomia mais ampla de objetos, e algumas classes comuns estão ausentes. A natureza de crowdsourcing das imagens significa que a distribuição de fundos e pontos de vista pode não representar totalmente todos os cenários do mundo real, e há ruído inerente no processo de anotação. Além disso, como o ObjectNet foi coletado em ambientes domésticos, ele pode sub-representar cenários industriais, ao ar livre ou extremos. Alguns pesquisadores notaram que a dificuldade do conjunto de dados pode ser parcialmente mitigada treinando em conjuntos de dados maiores e mais diversos, sugerindo que a lacuna entre o ObjectNet e as referências padrão está diminuindo à medida que os modelos melhoram. No entanto, o ObjectNet continua sendo uma ferramenta valiosa para testar a resistência de modelos e para entender a lacuna entre o desempenho em referências e a confiabilidade no mundo real.
Legado e Uso Contínuo
O ObjectNet se tornou um ponto de referência no esforço contínuo para construir sistemas de visão robustos. Ele é frequentemente citado em artigos sobre generalização de domínio, robustez adversarial e aprendizado auto-supervisionado. Os metadados do conjunto de dados também permitiram estudos sobre o efeito de fatores específicos, como rotação ou fundo, no desempenho do modelo, fornecendo insights que informam o design de arquiteturas mais resilientes. Em meados da década de 2020, o ObjectNet continua a ser usado em pesquisa acadêmica e por equipes da indústria que desenvolvem produtos de visão computacional, particularmente em áreas como direção autônoma, robótica e realidade aumentada, onde encontrar pontos de vista novos e cenas desordenadas é comum. Sua criação destacou a importância de avaliar modelos além de sua distribuição de treinamento e contribuiu para uma mudança mais ampla na comunidade de Machine learning em direção à robustez e à generalização fora da distribuição como preocupações de primeira classe.