Edge AI se refiere a la ejecución de cargas de trabajo de inteligencia artificial, con mayor frecuencia inferencia de modelos, directamente en dispositivos locales, como teléfonos inteligentes, cámaras, automóviles y sensores integrados, en lugar de enviar datos a un centro de datos remoto en la nube para su procesamiento. Contrasta con la IA en la nube, donde un dispositivo envía entrada a un servidor que ejecuta un modelo grande y recibe el resultado a través de una red.
Motivación
La IA en el borde está impulsada por varias restricciones prácticas que la inferencia en la nube no resuelve bien. Las aplicaciones sensibles a la latencia, como la detección de objetos basada en cámaras en un automóvil autónomo o el procesamiento de voz en tiempo real, no pueden tolerar el retraso de ida y vuelta de una llamada de red. La operación fuera de línea es importante para dispositivos sin conectividad confiable. La privacidad es un factor importante: procesar datos como fotos, voz o señales de salud localmente significa que los datos personales sin procesar nunca tienen que salir del dispositivo, una propiedad cada vez más comercializada por los fabricantes de teléfonos. El costo y el ancho de banda también favorecen el borde, ya que transmitir datos de sensores continuos a la nube para cada inferencia es costoso a escala. La compensación es la capacidad: los dispositivos en el borde tienen mucho menos cómputo y memoria que un clúster de GPU en un centro de datos, por lo que la IA en el borde depende en gran medida de cuantización, destilación de modelos y otras técnicas de reducción de tamaño para ajustar un modelo capaz en una huella pequeña de memoria y energía.
Hardware y técnicas
La IA en el borde se ejecuta en chips especializados de bajo consumo: unidades de procesamiento neuronal integradas en los sistemas en chip de los teléfonos inteligentes modernos, aceleradores de inferencia dedicados como el Edge TPU de Google, un pariente más pequeño de su TPU de centro de datos, y GPU integradas cada vez más capaces. Los modelos implementados en el borde suelen ser versiones comprimidas de modelos más grandes: cuantizados a una precisión numérica más baja, como pesos de 8 bits o 4 bits en lugar de 16 o 32 bits, podados para eliminar parámetros innecesarios, o producidos mediante destilación de conocimiento de un modelo fundacional más grande en una red estudiante más pequeña. Marcos de trabajo como TensorFlow Lite, construido sobre TensorFlow, y Core ML respaldan esta ruta de implementación desde un modelo de tamaño completo hasta uno optimizado para el borde.
Aplicaciones y perspectivas
Las aplicaciones comunes de IA en el borde incluyen asistentes de voz en el dispositivo que procesan una palabra de activación localmente antes de invocar la nube, fotografía computacional y desbloqueo facial en teléfonos inteligentes, sensores de mantenimiento predictivo en equipos industriales y sistemas de percepción en robótica y automóviles autónomos que no pueden depender de la conectividad de red. A mediados de la década de 2020, modelos de lenguaje pequeños capaces con unos pocos miles de millones de parámetros, hechos prácticos mediante cuantización y destilación agresivas, extendieron la IA en el borde más allá de tareas de percepción estrechas hacia la ejecución de modelos de chat y razonamiento de propósito general directamente en teléfonos y portátiles, parte de un impulso industrial más amplio hacia la IA generativa en el dispositivo, enmarcada por algunos como un contrapeso impulsado por la privacidad y el costo a los modelos frontera alojados en la nube.