Percy Liang es profesor de ciencias de la computación en la Universidad de Stanford y director del Centro de Investigación sobre Modelos Fundacionales (CRFM) dentro del Instituto Stanford para la Inteligencia Artificial Centrada en el Ser Humano (HAI).
La investigación temprana de Liang se centró en enfoques estadísticos y neuronales para el procesamiento del lenguaje natural, incluido el análisis semántico y métodos para evaluar la robustez de los sistemas de PLN frente a entradas adversarias. Se unió a la facultad de Stanford a principios de la década de 2010 y construyó un grupo de investigación que trabajaba en PLN, teoría del aprendizaje automático y, cada vez más, en los modelos preentrenados a gran escala que llegaron a dominar el campo en los años posteriores a la introducción de la arquitectura transformador.
Modelos fundacionales
En 2021, Liang fue organizador principal y coautor del artículo de Stanford "Sobre las oportunidades y riesgos de los modelos fundacionales", que introdujo y popularizó el término modelo fundacional para describir modelos grandes, como GPT-3 y BERT, entrenados con datos amplios a gran escala y adaptables a una amplia gama de tareas posteriores mediante ajuste fino o aprendizaje en contexto. El artículo argumentaba que el cambio hacia los modelos fundacionales representaba un cambio de paradigma significativo en la investigación de IA y señalaba riesgos en torno a la homogeneización, ya que los defectos o sesgos en un pequeño número de modelos fundacionales ampliamente reutilizados podrían propagarse a muchas aplicaciones posteriores.
HELM y evaluación
Liang ha sido un defensor destacado de la evaluación rigurosa y transparente de los modelos de lenguaje. Su grupo creó HELM (Evaluación Holística de Modelos de Lenguaje), un conjunto de pruebas de referencia diseñado para evaluar modelos en muchos escenarios y métricas simultáneamente, incluidos precisión, calibración, robustez, equidad y eficiencia, en lugar de optimizar para un único número de clasificación como tendían a usarse puntos de referencia anteriores como MMLU. HELM se diseñó en parte como respuesta a las preocupaciones sobre la saturación de los puntos de referencia y el juego con ellos, con el objetivo de ofrecer una imagen más amplia y reproducible del comportamiento de los modelos en un conjunto común de escenarios de múltiples proveedores.
Influencia
A través del CRFM, Liang ha seguido publicando trabajos ampliamente citados que rastrean el ecosistema de modelos fundacionales, incluidos índices de transparencia que puntúan a los principales laboratorios de IA según cuánto revelan sobre los datos de entrenamiento, el cómputo y el despliegue de sus modelos. Su trabajo se sitúa en la intersección de la investigación empírica en IA y la política de IA, con el objetivo de aportar un escrutinio académico más independiente a un campo cada vez más dominado por resultados y evaluaciones producidos por los propios laboratorios que construyen los modelos, incluidos OpenAI, Anthropic y Google DeepMind.