Edge AI refere-se à execução de cargas de trabalho de inteligência artificial, na maioria das vezes inferência de modelos, diretamente em dispositivos locais, como smartphones, câmeras, carros e sensores embarcados, em vez de enviar dados a um data center remoto na nuvem para processamento. Ele contrasta com a IA na nuvem, onde um dispositivo envia entrada para um servidor que executa um modelo grande e recebe o resultado de volta pela rede.
Motivação
A Edge AI é impulsionada por várias restrições práticas que a inferência na nuvem não resolve bem. Aplicações sensíveis à latência, como detecção de objetos baseada em câmera em um carro autônomo ou processamento de voz em tempo real, não toleram o atraso de ida e volta de uma chamada de rede. A operação offline é importante para dispositivos sem conectividade confiável. A privacidade é um grande motivador: processar dados como fotos, voz ou sinais de saúde localmente significa que dados pessoais brutos nunca precisam sair do dispositivo, uma propriedade cada vez mais comercializada por fabricantes de telefones. Custo e largura de banda também favorecem a borda, já que transmitir dados contínuos de sensores para a nuvem a cada inferência é caro em escala. A troca é a capacidade: dispositivos de borda têm muito menos computação e memória do que um cluster de GPU em data center, então a Edge AI depende fortemente de quantização, destilação de modelos e outras técnicas de redução de tamanho para ajustar um modelo capaz a uma pequena pegada de memória e energia.
Hardware e técnicas
A Edge AI é executada em chips especializados de baixo consumo: unidades de processamento neural integradas aos sistemas em chip de smartphones modernos, aceleradores de inferência dedicados, como o Edge TPU do Google, um parente menor de seu TPU de data center, e GPUs embarcadas cada vez mais capazes. Modelos implantados na borda são tipicamente versões compactadas de modelos maiores: quantizados para menor precisão numérica, como pesos de 8 ou 4 bits em vez de 16 ou 32 bits, podados para remover parâmetros desnecessários ou produzidos via destilação de conhecimento de um modelo fundacional maior em uma rede estudante menor. Frameworks como TensorFlow Lite, construído sobre TensorFlow, e Core ML apoiam esse caminho de implantação, de um modelo em tamanho completo a um otimizado para a borda.
Aplicações e perspectivas
Aplicações comuns de Edge AI incluem assistentes de voz no dispositivo que processam uma palavra de ativação localmente antes de invocar a nuvem, fotografia computacional e desbloqueio facial em smartphones, sensores de manutenção preditiva em equipamentos industriais e sistemas de percepção em robótica e carros autônomos que não podem depender de conectividade de rede. A partir de meados da década de 2020, modelos de linguagem pequenos e capazes, com alguns bilhões de parâmetros, tornados práticos por quantização e destilação agressivas, estenderam a Edge AI além de tarefas estreitas de percepção em direção a executar modelos gerais de chat e raciocínio diretamente em telefones e laptops, parte de um esforço mais amplo da indústria em direção à IA generativa no dispositivo, enquadrado por alguns como um contrapeso voltado para privacidade e custo aos modelos de fronteira hospedados na nuvem.