Segment Anything é uma série de modelos de fundação de visão computacional de código aberto desenvolvidos pela Meta AI (anteriormente Facebook AI Research e, depois, Meta Superintelligence Labs) para segmentação de imagens e vídeos. O projeto foi introduzido em abril de 2023 com o Segment Anything Model (SAM), um modelo de segmentação acionável por prompts treinado no conjunto de dados SA-1B, com mais de 1,1 bilhão de máscaras, e desde então foi estendido pelo SAM 2 (2024), que unificou a segmentação de imagens e vídeos, e pelo SAM 3 (2025), que adicionou segmentação a partir de prompts de conceitos em linguagem natural. Os modelos são lançados sob a licença Apache 2.0 e foram amplamente adotados em pesquisa e indústria, incluindo imagem médica, observação da Terra, robótica e ferramentas de edição de conteúdo.
Histórico
A segmentação de imagens, a tarefa de determinar quais pixels de uma imagem pertencem a um objeto, tradicionalmente exigia modelos treinados em conjuntos de dados específicos de tarefas, como COCO, Cityscapes ou Pascal VOC, cada um com um conjunto fixo de categorias de objetos. Um modelo treinado em um conjunto de dados geralmente não conseguia transferir o aprendizado para outro. O projeto Segment Anything propôs tratar a segmentação como um problema de prompting, análogo ao prompting em modelos de linguagem de grande escala: em vez de classificar pixels em um vocabulário fechado, o modelo produz uma máscara de segmentação para qualquer objeto que o usuário indicar.
SAM (2023)
A Meta AI lançou o Segment Anything Model (SAM) em 5 de abril de 2023, juntamente com o conjunto de dados SA-1B. O SAM é acionável por prompts: dada uma imagem e um prompt, como um ponto de primeiro plano, uma caixa delimitadora ou uma máscara aproximada, ele gera uma máscara de segmentação válida para o objeto indicado, mesmo para objetos e distribuições de imagem não vistos durante o treinamento, uma capacidade conhecida como transferência zero-shot. Sua arquitetura combina um codificador de imagem Vision Transformer de peso pesado com um codificador de prompts leve e um decodificador de máscaras, de modo que a codificação de imagem, que é cara, é calculada uma única vez, e o modelo pode então responder a muitos prompts de forma barata. Esse design se baseou em avanços em arquiteturas transformer e técnicas de aprendizado profundo que se mostraram eficazes em outros domínios da inteligência artificial.
SAM 2 (2024)
Em 29 de julho de 2024, a Meta lançou o SAM 2, que estendeu a segmentação acionável por prompts para vídeos. O SAM 2 trata uma imagem como um vídeo de um único quadro, unificando a segmentação de imagens e vídeos em uma única arquitetura. Ele substituiu o codificador Vision Transformer do SAM por uma espinha dorsal hierárquica Hiera e adicionou um módulo de memória em streaming, composto por um codificador de memória, um banco de memória e atenção de memória, que armazena embeddings de quadros de vídeo anteriores para que os objetos possam ser rastreados através de oclusões. Os quadros são processados sequencialmente, permitindo operação em tempo real: a Meta relatou aproximadamente 44 quadros por segundo na segmentação de imagens. A capacidade do modelo de lidar com dados temporais o tornou relevante para campos como robótica e sistemas autônomos, onde o rastreamento de objetos entre quadros é crítico.
SAM 3 (2025)
Em 19 de novembro de 2025, a Meta lançou o SAM 3, que introduziu a Segmentação de Conceitos Acionável por Prompts (PCS, na sigla em inglês): o modelo pode detectar, segmentar e rastrear todas as instâncias de um conceito especificado por uma frase nominal curta, como "ônibus escolar amarelo", uma imagem de exemplo ou uma combinação de ambos, além dos prompts geométricos (pontos, caixas, máscaras) suportados pelas versões anteriores. Essa capacidade está alinhada com tendências mais amplas em IA generativa e compreensão multimodal, onde os modelos interpretam cada vez mais entradas em linguagem natural para realizar tarefas visuais. A abordagem baseada em conceitos do SAM 3 reduz a necessidade de prompts explícitos por objeto, tornando-o mais adequado para aplicações como edição automatizada de conteúdo e análise de imagens em larga escala.
Impacto e Adoção
Os modelos Segment Anything foram amplamente adotados em pesquisa e indústria. Na imagem médica, pesquisadores usaram o SAM para segmentar estruturas anatômicas em exames, enquanto na observação da Terra ele foi aplicado a imagens de satélite para classificação de cobertura do solo. Equipes de robótica integraram o SAM para manipulação de objetos e compreensão de cenas, e ferramentas de edição de conteúdo aproveitaram sua interface acionável por prompts para geração de máscaras orientada pelo usuário. O lançamento de código aberto sob a licença Apache 2.0 facilitou a integração em vários pipelines de aprendizado de máquina, e os modelos se tornaram uma referência comum para tarefas de segmentação. A ênfase do projeto em acionabilidade por prompts e generalização zero-shot influenciou trabalhos subsequentes em visão computacional, posicionando-o como uma contribuição fundamental no campo.