Nesta página
- Cargo
- Professor de Ciência da Computação e diretor do CRFM
- Onde
- Stanford (Center for Research on Foundation Models)
- Conhecido por
- Criou o HELM e é um dos autores do índice FMTI
- O que defende
- Defende transparência na avaliação de modelos e formas de identificar a origem de textos de IA
Percy Liang é professor de Ciência da Computação em Stanford e diretor do Center for Research on Foundation Models (CRFM), segundo páginas oficiais da universidade atualizadas em outubro de 2026. Ele importa porque assina projetos que comparam modelos de IA de forma aberta, como o HELM, e participa do índice de transparência FMTI.
- Percy Liang é professor de Ciência da Computação em Stanford e dirige o CRFM, centro que estuda modelos de base.
- Seu grupo criou o HELM, forma aberta e padronizada de testar modelos de linguagem, lançada em novembro de 2022.
- Ele é um dos autores do FMTI, índice que mede a transparência das empresas que fazem modelos de IA.
- Os rankings mostram testes específicos em uma data específica. Nenhum modelo é o melhor para tudo.
Fonte principal: Percy Liang - Stanford Computer Science ↗
Quem é Percy Liang e o que ele faz hoje?
O que as páginas oficiais de Stanford dizem, com a data de cada uma:
- A página dele no departamento de Ciência da Computação, atualizada em 2 de outubro de 2026, o apresenta como Professor of Computer Science, com um vínculo adicional (courtesy appointment) em Estatística.
- A página do Stanford SystemX Alliance, atualizada em 21 de outubro de 2026, o descreve como Associate Professor of Computer Science e diretor do CRFM. Ela também o identifica como Thomas M. Siebel Professor of Machine Learning e Senior Fellow do Stanford Institute for Human-Centered AI (HAI).
- A página do Stanford RegLab, atualizada em 3 de outubro de 2026, também o identifica como Associate Professor of Computer Science e diretor do CRFM.
As páginas não usam o mesmo título acadêmico. A do departamento diz Professor. As outras duas dizem Associate Professor. Por isso, registramos cada título junto com a página que o traz.
O CRFM é o Center for Research on Foundation Models. Foundation models (modelos de base) são os grandes modelos de linguagem e de imagem sobre os quais muitos apps de IA são construídos. O blog do CRFM mostra que o trabalho continua em 2026. Um exemplo é a publicação "HELM Arabic Enterprise", de 26 de maio de 2026.
O que não conseguimos confirmar: o material consultado não traz fonte primária sobre eventuais funções dele em empresas. Também não confirma detalhes de projetos mais recentes associados ao seu nome. Esses pontos ficam de fora até haver confirmação oficial.
Por que o trabalho de Percy Liang importa para quem usa IA?
🌱 Sou novo nisso. Existem muitos modelos de IA, de várias empresas. Para saber qual faz melhor uma tarefa, alguém precisa testá-los do mesmo jeito. O grupo de Liang em Stanford criou uma forma aberta e padronizada de fazer esses testes. Ela se chama HELM.
🔎 Já uso. O HELM (Holistic Evaluation of Language Models, ou avaliação holística de modelos de linguagem) foi lançado em novembro de 2022. O artigo publicado nos Annals of the New York Academy of Sciences, em 25 de maio de 2023, resume o método:
- 30 modelos de OpenAI, Microsoft, Google, Meta, Cohere, AI21 Labs e outras empresas, avaliados nas mesmas condições;
- 16 cenários principais e 7 métricas;
- antes do HELM, os modelos tinham sido avaliados em só 17,9% dos cenários principais; com o HELM, a cobertura passou para 96,0%;
- todos os pedidos (prompts) e respostas brutos foram publicados.
O HELM Lite, apresentado pelo CRFM em dezembro de 2023, é uma versão mais leve. Ela foca em capacidades e incluiu áreas como medicina (MedQA), direito (LegalBench) e tradução (WMT14).
🚀 Já sou mais avançado. O código do HELM é aberto. É um framework em Python, com licença Apache-2.0, que permite reproduzir os rankings. O Foundation Model Transparency Index (FMTI), que tem Liang entre os autores, mede a transparência das empresas que fazem esses modelos. O índice foi criado por pesquisadores do CRFM e do HAI de Stanford, do MIT Media Lab e do Center for Information Technology Policy de Princeton. Ele tem versões publicadas em outubro de 2023 e maio de 2024.
O que Percy Liang defende em seu trabalho?
O material disponível não traz entrevistas recentes com as opiniões dele. Por isso, esta seção se limita ao que os próprios trabalhos assinados por ele declaram como objetivo.
- Transparência na avaliação. Segundo o artigo do HELM, os modelos de linguagem são a base de quase todas as grandes tecnologias de linguagem, mas "suas capacidades, limitações e riscos não são bem compreendidos". O HELM foi apresentado para "melhorar a transparência" desses modelos.
- Avaliar mais do que acerto. O HELM original mediu exatidão, calibração, robustez, justiça, viés, toxicidade e eficiência. Segundo o post do HELM Lite, a avaliação de segurança ficaria em outro benchmark (teste padronizado), desenvolvido com o grupo de segurança de IA da MLCommons.
- Saber de onde veio um texto. Em um trabalho do CRFM sobre marcas d'água (watermarks), Liang e coautores propõem um sinal escondido no texto gerado por um modelo. A marca não altera a qualidade do texto e pode ser detectada depois. Segundo os autores, uma ferramenta confiável assim ajudaria moderadores de plataformas e professores a aplicar regras sobre o uso de IA.
Por que isso interessa para a sua segurança: textos gerados por IA parecem escritos por pessoas. Por isso, hoje é difícil saber se uma mensagem foi gerada por um modelo. Pesquisas como essa buscam formas de identificar a origem do conteúdo. Até que elas existam na prática, vale a regra de sempre: desconfie de mensagens urgentes e confirme por um canal oficial.
Onde acompanhar o trabalho de Percy Liang?
O material consultado não traz entrevistas nem palestras recentes confirmadas em página oficial de evento ou de veículo de imprensa. Por isso, não listamos vídeos aqui.
Para acompanhar o trabalho dele direto na fonte:
- Página pessoal em Stanford
- Blog do CRFM, com as publicações mais recentes do centro
- Rankings do HELM, para ver como diferentes modelos se saem nos mesmos testes
Dica para comparar modelos: um ranking mostra o desempenho em testes específicos, numa data específica. Nenhum modelo é o melhor para tudo. Teste mais de um na sua própria tarefa e confira a data da avaliação.
Perguntas frequentes
Qual é o cargo atual de Percy Liang?
Segundo páginas de Stanford atualizadas em outubro de 2026, ele é professor de Ciência da Computação e diretor do CRFM. A página do departamento diz Professor of Computer Science, com vínculo em Estatística. As páginas do SystemX e do RegLab dizem Associate Professor e citam o título de Thomas M. Siebel Professor of Machine Learning.
O que é o HELM, criado no grupo de Percy Liang?
É uma forma aberta e padronizada de avaliar modelos de linguagem. Foi lançado em novembro de 2022 pelo CRFM de Stanford. No artigo original, 30 modelos de várias empresas foram testados nas mesmas condições, em 16 cenários principais e 7 métricas, e todos os pedidos e respostas foram publicados.
O que é o Foundation Model Transparency Index?
É um índice que mede a transparência das empresas que desenvolvem grandes modelos de IA. Foi criado por pesquisadores do CRFM e do HAI de Stanford, do MIT Media Lab e de Princeton. Percy Liang está entre os autores. Há versões publicadas em outubro de 2023 e maio de 2024.
Percy Liang trabalha em empresas de IA?
O material consultado não traz fonte primária que confirme funções atuais dele em empresas. Por isso, esta página descreve apenas os vínculos confirmados em páginas oficiais de Stanford.
Fontes
- Percy Liang - Stanford Computer Science · oficial
- Percy Liang - Stanford SystemX Alliance · oficial
- Percy Liang - Stanford RegLab · oficial
- Blog do Stanford CRFM · oficial
- HELM - Stanford CRFM · oficial
- HELM Lite: Lightweight and Broad Capabilities Evaluation - Stanford CRFM · oficial
- Holistic Evaluation of Language Models - Annals of the New York Academy of Sciences · academica
- Holistic Evaluation of Language Models (HELM) - GitHub · documento
- Foundation Model Transparency Index - Stanford CRFM · organizacion
- Robust Distortion-free Watermarks for Language Models - Stanford CRFM · academica
