Controlando el formato de salida de LLM y analizando resultados

Método 1: Usando Function Calling Function Calling es una característica de OpenAI para la API de GPT que permite al LLM decidir si llamar a una función específica antes de generar el resultado final. Por ejemplo, si un usuario pregunta sobre el clima de hoy, el LLM primero generará un resultado intermedio indicándote que llames a una función relacionada con el clima con el parámetro 'today'. Luego puedes llamar a la función del clima, obtener el resultado y decirle al LLM que genere el resultado final para el usuario. Esta característica no fue originalmente diseñada para controlar el formato de salida, pero nos proporciona un formato JSON estándar cuando nos indica qué función llamar, incluso con GPT-3.5, ofreciendo una salida JSON bastante estable. Podemos aprovechar esto para controlar el formato de salida del LLM. Podemos definir el contenido que queremos que ChatGPT genere como una función, pero en realidad no necesitamos ejecutar la función, solo obtener el resultado de salida del LLM. Por ejemplo, si quiero que ChatGPT genere un Object: { "name": "John", "age": 30, "city": "New York" } Al llamar a GPT, define una función con parámetros que coincidan con el formato JSON deseado: { "name": "getUserInfo", "description": "Get user information", "parameters": { "type": "object", "properties": { "name": { "type": "string", "description": "User's fullname" }, "age": { "type": "number", "description": "User's age" }, "city": { "type": "string", "description": "User's city" } }, "required": ["name", "age", "city"] } } Luego, al llamar a GPT, puedes obtener una salida JSON estable. La limitación es que la API debe soportar Function Calling. Método 2: Usando few-shot con ejemplos de formato de salida Si la API no soporta Function Calling, podemos usar few-shot proporcionando uno o más ejemplos de formato de salida para que el LLM los siga. Por ejemplo, al traducir, podría hacer que el LLM traduzca dos veces - una literal y otra libre - y luego usar la traducción libre. En este caso, no necesito formato JSON; simplemente puedo usar caracteres especiales para separar los dos resultados y dividirlos por esos caracteres para obtener la traducción libre. Para formato JSON, few-shot también se puede usar, pero con GPT-3.5, la estabilidad no es excelente y a veces no se sigue el formato. Asegúrate de que tu respuesta pueda ser analizada por Python json, usa el siguiente formato como ejemplo: { "name": "John", "age": 30, "city": "New York" }