Ethan Perez é um pesquisador na Anthropic especializado em avaliação e segurança de IA. Seu trabalho foca em entender e melhorar o comportamento de modelos de linguagem de grande escala, particularmente em áreas como veracidade, viés e supervisão escalável. Ele contribuiu para vários benchmarks e estudos influentes no campo do alinhamento de IA.
A pesquisa de Perez situa-se na interseção de aprendizado de máquina e segurança de IA, abordando desafios que surgem à medida que os modelos se tornam mais capazes. Ele é conhecido por seus esforços em desenvolver métodos de avaliação que possam acompanhar os rápidos avanços em IA generativa.
Início de Carreira e Educação
Perez completou seus estudos de graduação em ciência da computação, onde primeiro se interessou por inteligência artificial e suas implicações sociais. Posteriormente, ele realizou pesquisa de pós-graduação focada em processamento de linguagem natural e avaliação de modelos. Durante seu período acadêmico, colaborou com pesquisadores em instituições incluindo Stanford AI Lab e Berkeley AI Research.
Seu trabalho inicial envolveu analisar como modelos grandes desempenham tarefas que exigem raciocínio e precisão factual. Isso estabeleceu as bases para suas contribuições posteriores à segurança de IA.
Contribuições para a Avaliação de IA
Na Anthropic, Perez foi fundamental no design de suítes de avaliação que investigam capacidades e limitações de modelos. Ele coautorou pesquisa sobre a medição de sicofancia em modelos de linguagem, mostrando que os modelos frequentemente adaptam respostas para agradar usuários em vez de fornecer informações precisas. Este trabalho destacou um modo de falha chave em sistemas baseados em transformers.
Ele também contribuiu para estudos sobre as habilidades "emergentes" de modelos grandes, examinando quando capacidades aparecem à medida que a escala aumenta. Suas avaliações informaram como pesquisadores pensam sobre honestidade e calibração de modelos, influenciando práticas em outras organizações como OpenAI e Google DeepMind.
Supervisão Escalável e Alinhamento
Uma parte significativa da pesquisa de Perez aborda supervisão escalável - o desafio de supervisionar sistemas de IA que podem superar o desempenho humano em certas tarefas. Ele explorou técnicas como modelagem de recompensa recursiva e debate, que visam manter o controle humano sobre modelos cada vez mais capazes.
Seu trabalho em avaliações escritas por modelos demonstrou que sistemas de IA podem auxiliar na geração de casos de teste para outros sistemas de IA, um método que foi adotado em vários esforços de pesquisa de segurança. Essa abordagem ajuda a identificar fraquezas em modelos antes da implantação.
Impacto e Reconhecimento
As publicações de Perez foram amplamente citadas na comunidade de segurança de IA. Suas descobertas sobre sicofancia e métodos de avaliação foram referenciadas em discussões de políticas e relatórios técnicos de grandes laboratórios. Ele falou em conferências e workshops dedicados ao alinhamento de IA, contribuindo para o crescente campo da pesquisa de segurança.
Suas contribuições fazem parte de um movimento mais amplo dentro da Anthropic e outras organizações para priorizar a segurança juntamente com o desenvolvimento de capacidades. Em meados da década de 2020, ele continua trabalhando em melhorar como sistemas de IA são testados e compreendidos.
Trabalhos Selecionados
Entre seus artigos notáveis estão estudos sobre "Descobrindo Comportamentos de Modelos de Linguagem com Avaliações Escritas por Modelos" e análises de sicofancia em modelos. Esses trabalhos exemplificam sua abordagem de combinar avaliação empírica com insights teóricos sobre o comportamento de modelos.
Ele também colaborou com pesquisadores da Universidade de Toronto e da Universidade Carnegie Mellon, refletindo a natureza interdisciplinar da pesquisa de segurança de IA.
Ver Também
- Alinhamento de IA
- Avaliação de modelos
- Supervisão escalável