Uma rede neural capsular (CapsNet) é um sistema de aprendizado de máquina que é um tipo de rede neural artificial (RNA) que pode ser usado para modelar melhor relações hierárquicas. A abordagem é uma tentativa de imitar mais de perto a organização neural biológica. A ideia é adicionar estruturas chamadas "cápsulas" a uma rede neural convolucional (RNC) e reutilizar a saída de várias dessas cápsulas para formar representações mais estáveis (com respeito a várias perturbações) para cápsulas superiores. A saída é um vetor que consiste na probabilidade de uma observação e uma pose para essa observação. Este vetor é semelhante ao que é feito, por exemplo, ao realizar classificação com localização em RNCs.
Entre outros benefícios, as capsnets abordam o "problema de Picasso" no reconhecimento de imagens: imagens que têm todas as partes corretas, mas que não estão na relação espacial correta (por exemplo, em um "rosto", as posições da boca e de um olho são trocadas). Para o reconhecimento de imagens, as capsnets exploram o fato de que, embora as mudanças de ponto de vista tenham efeitos não lineares no nível de pixel, elas têm efeitos lineares no nível de parte/objeto. Isso pode ser comparado a inverter a renderização de um objeto com múltiplas partes.
História
Em 2000, Geoffrey Hinton e seus colegas descreveram um sistema de imagem que combinava segmentação e reconhecimento em um único processo de inferência usando árvores de análise. As chamadas redes de credibilidade descreviam a distribuição conjunta sobre as variáveis latentes e sobre as possíveis árvores de análise. Esse sistema provou ser útil no banco de dados de dígitos manuscritos MNIST.
Um mecanismo de roteamento dinâmico para redes de cápsulas foi introduzido por Hinton e sua equipe em 2017. A abordagem foi alegada para reduzir as taxas de erro no MNIST e reduzir os tamanhos do conjunto de treinamento. Os resultados foram alegados como consideravelmente melhores do que uma RNC em dígitos altamente sobrepostos. Na ideia original de Hinton, uma minicoluna representaria e detectaria uma entidade multidimensional.
Transformações
Uma invariante é uma propriedade de objeto que não muda como resultado de alguma transformação. Por exemplo, a área de um círculo não muda se o círculo for deslocado para a esquerda. Informalmente, uma equivariante é uma propriedade que muda de forma previsível sob transformação. Por exemplo, o centro de um círculo se move pela mesma quantidade que o círculo quando deslocado. Uma não-equivariante é uma propriedade cujo valor não muda de forma previsível sob uma transformação. Por exemplo, transformar um círculo em uma elipse significa que seu perímetro não pode mais ser calculado como π vezes o diâmetro.
Na visão computacional, espera-se que a classe de um objeto seja uma invariante sobre muitas transformações. Ou seja, um gato ainda é um gato se for deslocado, virado de cabeça para baixo ou reduzido em tamanho. No entanto, muitas outras propriedades são, em vez disso, equivariantes. O volume de um gato muda quando ele é escalado. Propriedades equivariantes, como uma relação espacial, são capturadas em uma pose, dados que descrevem a translação, rotação, escala e reflexão de um objeto. Translação é uma mudança na localização em uma ou mais dimensões. Rotação é uma mudança na orientação. Escala é uma mudança no tamanho. Reflexão é uma imagem espelhada.
Capsnets não supervisionadas aprendem uma variedade linear global entre um objeto e sua pose como uma matriz de pesos. Em outras palavras, as capsnets podem identificar um objeto independentemente de sua pose, em vez de ter que aprender a reconhecer o objeto incluindo suas relações espaciais como parte do objeto. Em capsnets, a pose pode incorporar propriedades diferentes das relações espaciais, por exemplo, cor (gatos podem ser de várias cores). Multiplicar o objeto pela variedade posiciona o objeto (para um objeto, no espaço).
Pooling
As capsnets rejeitam a estratégia de camada de pooling das RNCs convencionais que reduz a quantidade de detalhes a serem processados na camada superior seguinte. O pooling permite um certo grau de invariância translacional (pode reconhecer o mesmo objeto em um local um pouco diferente) e permite que um número maior de tipos de características seja representado. Os proponentes das capsnets argumentam que o pooling:
- viola a percepção de forma biológica, pois não possui um quadro de referência intrínseco;
- fornece invariância (descartando informações posicionais) em vez de equivariância (desembaraçando essa informação);
- ignora a variedade linear que subjaz a muitas variações entre imagens;
- roteia estaticamente em vez de comunicar um possível "achado" ao recurso que pode apreciá-lo;
- danifica detectores de características próximos, ao deletar as informações das quais eles dependem.
Cápsulas
Uma cápsula é um conjunto de neurônios que individualmente ativam para várias propriedades de um tipo de objeto, como posição, rotação e matiz. Formalmente, uma cápsula é um conjunto de neurônios que coletivamente produzem um vetor de atividade com um elemento para cada neurônio para manter o valor de instanciação desse neurônio (por exemplo, matiz). Programas gráficos usam valores de instanciação para desenhar um objeto. As capsnets tentam derivar esses valores a partir de sua entrada. A probabilidade da presença da entidade em uma entrada específica é o comprimento do vetor, enquanto a orientação do vetor quantifica as propriedades da cápsula.
Neurônios artificiais tradicionalmente produzem uma ativação escalar de valor real que representa vagamente a probabilidade de uma observação. As capsnets substituem detectores de características de saída escalar por cápsulas de saída vetorial e max-pooling por roteamento por acordo. Como as cápsulas são independentes, quando múltiplas cápsulas concordam, a probabilidade de detecção correta é muito maior. Um agrupamento mínimo de duas cápsulas considerando uma entidade de seis dimensões concordaria dentro de 10% por acaso apenas uma vez em um milhão de tentativas. À medida que o número de dimensões aumenta, a chance de concordância em um agrupamento maior com dimensões mais altas diminui exponencialmente.
Cápsulas em camadas superiores recebem saídas de cápsulas em camadas inferiores e aceitam aquelas cujas saídas se agrupam. Um agrupamento faz com que a cápsula superior produza uma alta probabilidade de observação de que uma entidade está presente e também produza uma pose de alta dimensão (20-50+). Cápsulas de nível superior ignoram outliers, concentrando-se nos agrupamentos. Isso é semelhante à transformada de Hough, à RHT e ao RANSAC do processamento clássico de imagens digitais.
Roteamento por concordância
As saídas de uma cápsula (filha) são roteadas para cápsulas na próxima camada (pai) de acordo com a capacidade da filha de prever as saídas dos pais. Ao longo de algumas iterações, as saídas de cada pai podem convergir com as previsões de alguns filhos e divergir das de outros, o que significa que esse pai está presente ou ausente na cena. Para cada possível pai, cada filho calcula um vetor de previsão multiplicando sua saída por uma matriz de pesos (treinada por retropropagação). Em seguida, a saída do pai é calculada como o produto escalar de uma previsão com um coeficiente que representa a probabilidade de que esse filho pertença a esse pai. Um filho cujas previsões estão relativamente próximas da saída resultante aumenta sucessivamente o coeficiente entre esse pai e filho e o diminui para outros.
As redes de cápsulas permanecem uma área ativa de pesquisa dentro do Deep learning, oferecendo uma alternativa às RNCs tradicionais para tarefas que exigem hierarquias espaciais explícitas. Elas foram exploradas em contextos como Artificial intelligence e Machine learning, com aplicações potenciais em áreas como Computer vision e Robotics. Embora não sejam tão amplamente adotadas quanto os modelos baseados em Transformer (architecture), continuam a inspirar trabalhos sobre representações equivariantes e mecanismos de roteamento.