Segment Anything ViT é uma arquitetura de vision transformer que serve como o backbone do codificador de imagem para o Segment Anything Model (SAM), um sistema desenvolvido pela Meta para segmentação de imagens orientada por prompts. O modelo utiliza um design baseado em Transformer (architecture) para converter imagens de entrada em embeddings de características de alta dimensão, que são então processados por um decodificador de máscaras leve para produzir máscaras de segmentação com base em prompts do usuário, como pontos, caixas ou texto. Este backbone foi introduzido em 2023 juntamente com o framework SAM e o dataset Segment Anything, que contém mais de 1 bilhão de máscaras em 11 milhões de imagens.
O Segment Anything ViT é construído sobre a estrutura padrão de vision transformer, que divide uma imagem em patches de tamanho fixo e os processa através de camadas empilhadas de Multi-Head Attention. Diferente de backbones convolucionais anteriores, como Residual Network (ResNet) ou U-Net, o backbone ViT captura contexto global em toda a imagem em cada camada, tornando-o bem adequado para tarefas que exigem compreensão de limites e relações entre objetos. A arquitetura inclui Positional Encoding para reter informações espaciais e suporta múltiplos tamanhos de modelo - ViT-B, ViT-L e ViT-H - com a versão maior tendo cerca de 632 milhões de parâmetros.
Arquitetura e Design
O Segment Anything ViT segue o design original de vision transformer proposto por Dosovitskiki e colegas, com modificações adaptadas para tarefas de predição densa. Ele usa um tamanho de patch de 16x16 pixels, o que significa que uma imagem de entrada de 1024x1024 é dividida em patches de 64x64. Cada patch é projetado linearmente em um vetor de embedding, e um encoding posicional aprendível é adicionado antes dos blocos transformer. O backbone emprega uma estrutura interna padrão de codificador-decodificador, mas no framework SAM atua puramente como um codificador, produzindo um mapa de características que retém resolução espacial através de um processo de upsamping camada por camada.
Uma escolha de design chave é o uso de um mecanismo de atenção global em vez de atenção em janelas. Isso permite que o modelo considere a imagem inteira ao computar características para qualquer patch, o que é importante para segmentar objetos que se estendem por grandes áreas ou têm limites ambíguos. O backbone também incorpora um módulo de pescoço que reduz a dimensão de características para um espaço de embedding compacto, tipicamente 256 canais, antes de passar a saída para o decodificador de máscaras.
Treinamento e Dados
O Segment Anything ViT foi treinado no dataset Segment Anything, uma coleção em larga escala de 11 milhões de imagens com mais de 1 bilhão de máscaras de segmentação. Este dataset foi criado usando um mecanismo de dados que combinou geração automática de máscaras com refinamento humano. O processo de treinamento usou uma combinação de aprendizado supervisionado sobre as anotações de máscaras e uma abordagem de modelo no circuito, onde o backbone ViT foi iterativamente melhorado à medida que novas máscaras eram geradas.
O treinamento empregou técnicas padrão de Deep learning, incluindo Adam (Optimizer) para otimização, Data Augmentation para melhorar a generalização e Gradient Clipping para estabilizar o treinamento. O modelo foi treinado em um cluster de GPUs, embora detalhes específicos de hardware não sejam documentados publicamente. A variante ViT-H, com sua maior capacidade, alcançou a maior qualidade de segmentação, mas exigiu mais recursos computacionais tanto para treinamento quanto para inferência.
Aplicações e Impacto
O Segment Anything ViT permitiu que o modelo SAM realizasse segmentação zero-shot - a capacidade de segmentar objetos em imagens sem ajuste fino prévio em categorias específicas. Isso tem aplicações amplas em campos de Artificial intelligence como imagem médica, direção autônoma e robótica. Por exemplo, o backbone pode ser combinado com mecanismos de Cross-Attention para integrar prompts de texto, permitindo que usuários segmentem objetos descrevendo-os em linguagem natural.
O lançamento do SAM e seu backbone ViT influenciou pesquisas subsequentes em segmentação interativa e modelos de fundação para visão computacional. Demonstrou que um único modelo treinado em dados diversos poderia generalizar para objetos e cenas não vistos, semelhante a como Large language models generalizam em tarefas de texto. A arquitetura foi adaptada para outras tarefas de predição densa, incluindo estimativa de profundidade e detecção de bordas, e foi integrada em vários kits de ferramentas de código aberto.
Desempenho e Limitações
Em avaliações de benchmark, o backbone Segment Anything ViT-H alcançou forte desempenho em métricas padrão de segmentação, como Intersection over Union média (mIoU), em múltiplos datasets. No entanto, o modelo tem limitações conhecidas. Ele pode ter dificuldades com objetos muito pequenos, objetos fortemente ocluídos ou imagens com condições de iluminação incomuns. O backbone ViT também é computativamente intensivo, exigindo memória e poder de processamento substanciais, o que limita seu uso em dispositivos de borda sem otimização.
Pesquisas mostrarham que o desempenho do backbone degrada quando imagens de entrada são significamente reduzidas em escala, pois detalhes finos são perdidos no processo de embedding de patches. Além disso, o modelo não entende inerentemente semântica de objetos - ele segmenta com base em padrões visuais em vez de conhecimento de categorias, o que pode levar a sobre-segmentação ou sub-segmentação em casos ambíguos.
Desenvolvimentos Relacionados
O Segment Anything ViT se baseia em trabalhos anteriores em vision transformers, incluindo o modelo ViT original e melhorias subsequentes como designs hierárquicos. É distinto de abordagens convolucionais como Residual Network (ResNet) e U-Net, que processam imagens através de campos receptivos locais. O backbone também inspirou modelos posteriores que incorporam mecanismos de atenção eficientes ou transformers esparsos para reduzir custo computacional.
No contexto mais amplo de Generative AI, o Segment Anything ViT representa uma mudança em direção a modelos unificados que podem lidar com múltiplas tarefas visuais com uma única arquitetura. Se sucesso enccorajou esforços semelhantes em outros domínios, como segmentação de áudio e vídeo, e contribuiu para o crescente ecossistema de modelos de IA de código aberto.