El uso de herramientas, también llamado llamada a funciones, es la capacidad que permite a un modelo de lenguaje grande invocar una función, API o programa externo de manera estructurada como parte de la generación de una respuesta. En lugar de producir solo texto en lenguaje natural, un modelo con uso de herramientas puede generar una solicitud estructurada, típicamente formateada de manera similar a una llamada a función con argumentos nombrados, que una aplicación circundante ejecuta en nombre del modelo; el resultado se devuelve luego al modelo, a menudo insertado de nuevo en su ventana de contexto, para que pueda incorporar esa información en su respuesta final o decidir sobre una acción adicional. El uso de herramientas es el mecanismo básico mediante el cual un agente de IA interactúa con cualquier cosa fuera de su propia generación de texto, incluidos bases de datos, calculadoras, motores de búsqueda, entornos de ejecución de código y otro software.
Desarrollo
Los primeros modelos de lenguaje solo podían producir texto plano, por lo que cualquier interacción con sistemas externos debía manejarse analizando la salida de forma libre y esperando que coincidiera con un patrón esperado, un enfoque poco fiable. La llamada a funciones estructurada se introdujo como una característica de primera clase del modelo por parte de los principales laboratorios a partir de 2023, con proveedores que entrenaron modelos específicamente para emitir llamadas bien formadas a un conjunto de herramientas descritas en el prompt, junto con esquemas coincidentes que restringen los argumentos que una llamada puede contener. Esto hizo que el uso de herramientas fuera drásticamente más fiable y lo convirtió en una capacidad estándar en prácticamente todos los modelos de chat y API de frontera para 2024, junto con esfuerzos más amplios, incluido el protocolo de contexto de modelo de Anthropic introducido en noviembre de 2024, para estandarizar cómo se describen y conectan las herramientas a los modelos entre diferentes proveedores y aplicaciones.
Cómo funciona en la práctica
Un intercambio típico de uso de herramientas tiene tres partes. Primero, la aplicación que realiza la llamada describe las herramientas disponibles al modelo, generalmente como una lista de nombres de funciones, descripciones y tipos de argumentos esperados, incluida en o junto al prompt. Segundo, cuando el modelo determina que responder a la solicitud del usuario requiere información o una acción que no puede producir por sí mismo, como buscar datos actuales o realizar un cálculo preciso, emite una llamada estructurada a la herramienta relevante en lugar de una respuesta en lenguaje natural. Tercero, la aplicación ejecuta esa llamada fuera del modelo, y el resultado se retroalimenta en la conversación, tras lo cual el modelo puede usarlo para componer una respuesta final o emitir otra llamada. Este bucle puede repetirse muchas veces dentro de una única tarea de agente, y los modelos se entrenan típicamente para decidir de forma independiente cuándo se necesita una llamada a herramienta versus cuándo pueden responder directamente desde su propio conocimiento.
Aplicaciones
El uso de herramientas sustenta una amplia gama de sistemas prácticos: un modelo puede recibir una función de búsqueda web para responder preguntas sobre eventos recientes, una herramienta de ejecución de código para ejecutar y verificar un cálculo o una pieza de código generado, una herramienta de consulta de bases de datos para buscar registros específicos, o una llamada a API para realizar una acción como enviar un mensaje o actualizar un registro en un sistema externo. También es la base de los pipelines de generación aumentada por recuperación que exponen la recuperación como una herramienta invocable, y de los sistemas de uso de computadora, donde la "herramienta" es el control sobre una interfaz gráfica como un mouse y un teclado en lugar de una API estrecha.
Fiabilidad y seguridad
El uso de herramientas introduce modos de fallo que la generación de texto plano no tiene, ya que un modelo puede llamar a la herramienta equivocada, proporcionar argumentos malformados o alucinados, o llamar a una herramienta un número inusualmente grande de veces en un bucle. Debido a que las llamadas a herramientas pueden tener efectos secundarios en el mundo real, que van desde enviar un correo electrónico hasta ejecutar código arbitrario, el uso de herramientas también plantea cuestiones de seguridad distintas, incluido cómo evitar que un modelo sea manipulado por contenido adversario para hacer un mal uso de una herramienta disponible, un patrón de ataque estrechamente asociado con la inyección de prompts. Los sistemas de producción típicamente abordan esto con alcance de permisos, pasos de confirmación humana para acciones de consecuencias, y sandboxing de cualquier herramienta que ejecute código o acceda a datos sensibles.