O benchmark KITTI é uma coleção de conjuntos de dados e critérios de avaliação projetados para pesquisa em direção autônoma e robótica móvel. Ele fornece um conjunto padronizado de gravações de sensores de um veículo dirigindo por ambientes urbanos e rurais, permitindo que pesquisadores comparem o desempenho de algoritmos para tarefas como detecção de objetos, rastreamento e reconstrução estéreo. Estabelecido como um projeto conjunto entre Universidade Carnegie Mellon e o Instituto de Tecnologia de Karlsruhe, foi introduzido em 2012 e, desde então, tornou-se um padrão amplamente utilizado no campo de aprendizado de máquina e visão computacional.
Coleta de Dados e Plataforma
O benchmark foi criado usando uma perua equipada com um conjunto de sensores para capturar condições de direção no mundo real na cidade de Karlsruhe, Alemanha. A configuração principal de sensores incluía duas câmeras coloridas de alta resolução e duas câmeras em tons de cinza, formando um sistema de visão estereoscópica apontando para frente. Um scanner a laser rotativo, do tipo Velodyne HDL-64E, fornecia informações de distância e refletância, enquanto um sistema de posicionamento global e um sistema de navegação inercial registravam a localização do veículo durante várias viagens.
As gravações dos sensores foram capturadas a 10 Hz, com as câmeras fornecendo imagens de 24 bits de profundidade de cor com 1,4 megapixels. O conjunto de dados inclui planos de solo e calibrações de câmeras. As gravações não cobriam apenas ruas urbanas, mas também estradas rurais e trechos de rodovias. A totalidade dos dados foi dividida em subconjuntos de treinamento e teste, com anotações para tarefas de detecção e rastreamento, frequentemente fornecidas por uma equipe no Instituto de Tecnologia de Karlsruhe.
Tarefas do Benchmark
O KITTI define uma série de tarefas específicas em diferentes níveis de dificuldade, variando de desempenho em condições simples (com base no tamanho da caixa delimitadora e oclusão) a condições mais complexas. Entre as principais estão a detecção de objetos em 2D e 3D (encontrando e delimitando veículos), detecção de pedestres e ciclistas, e o rastreamento desses mesmos elementos, como carros e bicicletas em movimento. Além do reconhecimento de objetos, o benchmark inclui suítes de avaliação para correspondência estéreo, onde pixels de duas câmeras são correspondidos para recuperar profundidades de cena, e para fluxo de cena, que envolve deslocamentos e movimentos por pixel.
As métricas de avaliação são tanto baseadas em pipelines para tarefas 2D quanto usam precisão média, ou métricas mais avançadas, como o erro D1 para estéreo. Para rastreamento, uma métrica personalizada baseada no protocolo CLEAR MOT é usada, resultando em medidas como precisão de rastreamento múltiplo de objetos e acurácia acumulada. Cada tarefa também inclui um painel de líderes onde participantes podem enviar seus algoritmos contra conjuntos de teste e receber feedback automatizado.
Impacto e Uso
O KITTI tem servido como referência para inúmeros avanços em percepção para direção autônoma. Seus dados padronizados permitiram o desenvolvimento e a validação de algoritmos para fusão de sensores, desde nuvens de pontos 3D até imagens 2D. Sua capacidade de localização de veículos também é usada em outros domínios, como robótica, onde as medições precisas de poses de câmeras são usadas para Localização e Mapeamento Simultâneos.
Muitos artigos influentes na área foram avaliados no KITTI, desde modelos de segmentação como U-Net até a aplicação de diferentes arquiteturas de redes neurais para detecção de objetos, como redes baseadas em regiões ou detectores de disparo único. À medida que a infraestrutura de aprendizado profundo amadureceu, o painel de líderes do KITTI evoluiu como um local central para acompanhar o progresso desses modelos e para comparações científicas. Embora benchmarks mais recentes, como o nuScenes e o Waymo Open Dataset, tenham expandido as métricas de avaliação, o KITTI mantém tração significativa na comunidade.
Limitações e Extensões
Os dados originais do KITTI, embora coletados em ambientes densos, têm limitações relacionadas à sua localização e à flora local. Como os dados são de uma região específica (Karlsruhe) em faixas de direção de médio a grande porte, as descobertas podem não ser diretamente transferíveis para outras regiões ou condições, como dia e noite, ou em condições climáticas adversas. As anotações também são pré-localizadas para um conjunto específico de classes de objetos, e o número de quadros anotados é relativamente limitado, frequentemente na ordem de 7.481 quadros de treinamento para algumas tarefas.
Para mitigar essas questões, foram lançadas extensões como o KITTI-RAW, uma coleção de gravações brutas de sensores com leituras contínuas de acelerômetros e câmeras. Adaptações também foram feitas para ajustar os dados à expectativa de ação. No entanto, o KITTI continua sendo o padrão de referência para avaliação de direção autônoma. Muitos benchmarks semelhantes, como o Waymo ou a extensão do Cityscapes e do Virtual KITTI, usaram sua estrutura como modelo. Para muitos trabalhos, o benchmark não é apenas uma avaliação, mas também um portal para os sensores que interagem com a pilha de direção autônoma.
Perspectivas Futuras
Nos últimos anos, o papel do KITTI na comunidade mudou. Novos trabalhos na área frequentemente usam dados divididos do KITTI para se alinhar com a nova realidade da fusão de sensores, ou derivam suas tarefas do benchmark. Sua relevância contínua depende de como sua avaliação permite soluções baseadas em IA que sejam reproduzíveis, padronizadas e academicamente credíveis.
Como o benchmark KITTI foi desde o início um esforço financiado publicamente para o bem comum na pesquisa em robótica, seu futuro está ligado à sua manutenção. À medida que a privacidade de dados e o licenciamento para dados de veículos autônomos se tornam mais restritos, o modelo KITTI, que envolve não credenciais ópticas ausentes, mas sim muitos agregados obtidos, pode servir como um modelo para ciência aberta na área robótica. Suas métricas e protocolos não são apenas um catálogo de conquistas passadas, mas também uma base a ser construída, moldando a avaliação para ser precisa.