À medida que a inteligência artificial (IA) se torna parte do quotidiano, é importante e fundamental garantir que esta forneça informações éticas e confiáveis. Um novo estudo: “Avaliação de Grandes Modelos de Linguagem quanto à Precisão Incentiva Alucinações”, do Instituto de Tecnologia da Geórgia, em parceria com a OpenAI, e já publicado na revista “Nature” explica como e por que grandes modelos de linguagem, como o ChatGPT, apresentam comportamentos alucinatórios e o que os programadores podem fazer para mitigar o problema.
Entender por que as alucinações surgem é um fator crucial para as mitigar, afirmou Santosh Vempala, do Instituto de Tecnologia da Geórgia, coautor do artigo. “Já vimos modelos alucinarem com tudo, desde referências a fatos simples, e isso pode ser um problema real quando os utilizadores consideram essas informações verdadeiras”, acrescentou. “É importante determinar até que ponto isso é inevitável e até que ponto é uma questão de foco e não de prioridade.”
Com o uso cada vez mais frequente de grandes modelos de linguagem, Santosh Vempala pretende usar a experiência para aumentar a segurança da IA. “Precisamos identificar e compreender os perigos, mas também precisamos formular princípios em torno deles”, explicou, e acrescentou: “Esse é um objetivo fundamental do meu trabalho agora.”
“A intuição é útil e importante, mas princípios rigorosos só surgem quando os descrevemos matematicamente”, acrescentou. “Precisamos de um modelo preciso e científico, que quantifique matematicamente princípios que possam aumentar o desempenho da IA, mantendo o risco debaixo de controlo.”
Entendendo as alucinações da IA
Santosh Vempala vê este trabalho sobre alucinações como um pequeno primeiro passo rumo a uma maior segurança da IA. “As alucinações são inevitáveis porque os modelos de aprendizagem máquina são calibrados com um conjunto de dados limitado”, explicou. “Até que um modelo veja todas as informações do mundo, e assumindo que todas as informações que vê estejam corretas, existe a possibilidade de que ele tenha que adivinhar a resposta para algumas perguntas – e isso pode levar a alucinações.”
Uma ideia que se baseia num estudo anterior publicado em 2024 por Santosh Vempala e Adam Kalai, quando investigador científico da OpenAI e agora cofundador do Instituto para Superinteligência Responsável, uma organização sem fins lucrativos voltada para a segurança da IA. O trabalho mostrou que alucinações são estatisticamente inevitáveis em modelos de IA treinados para certos tipos de dados.
Em vez de alterar o conjunto de dados de treino que um modelo de aprendizagem máquina utiliza, a nova investigação concentra-se no pós-treino, quando os grandes modelos de linguagem são testados para verificar capacidade de responder perguntas e estão alinhados aos objetivos do programador. Durante os testes, quase sempre, o modelo de IA é penalizado por dizer “Eu não sei”. Essa penalidade é a mesma que se a IA desse uma resposta errada.
Assim como quando um aluno faz uma prova de múltipla escolha, o modelo é incentivado a dar uma resposta quando não sabe a resposta correta. “Esse problema é generalizado no setor”, disse Santosh Vempala. “Os parâmetros e métodos usados para avaliação incentivam esse tipo de comportamento de palpite.”
Ao desvendar o mecanismo que causa alucinações, o estudo forneceu aos programadores um método fácil de implementar para mitigar as alucinações após o treino. Especificamente, eles propõem rubricas abertas, que especificam claramente o mecanismo de pontuação para as respostas de grandes modelos de linguagem.
Construindo melhores proteções
Mas as alucinações são apenas a ponta do iceberg. Agora, Santosh Vempala está colaborar com psicólogos, filósofos e outros especialistas para descobrir o que pode ser feito para garantir que a IA se comporte de maneira alinhada aos padrões éticos.
Por exemplo, muitas pessoas usam grandes modelos de linguagem com o modelo numa função específica: professor, enfermeiro, consultor tributário. Santosh Vempala indicou estar interessado em saber como viabilizar a abstenção baseada em função. “Se a IA estiver a desempenhar um papel, como o de um médico, como é que garantimos que continue a se comportar de maneira ética dentro do escopo dessa função?”, e “como podemos garantir que a IA está a fornecer informações precisas, confiáveis e éticas às pessoas e como podemos garantir que ela se recuse a responder perguntas inapropriadas?”
Santosh Vempala indicou que está trabalhar no chamado “manipulação de recompensas”, que ocorre quando os modelos tentam maximizar os resultados de “pontuação” por quaisquer meios.
Num exemplo recente, um modelo da OpenAI estava ser testado e percebeu que as respostas estavam disponíveis em outro site. Em vez de melhorar seu desempenho nos testes, o modelo implantou centenas de agentes para tentar roubar as respostas.
O que podemos fazer para evitar isso? Como podemos entender as possibilidades de manipulação de recompensas e como nos proteger contra ela? “Parte disso resume-se a garantir que a IA se comporte de maneira ética e alinhada com as nossas diretrizes”, disse Santosh Vempala. “Mas também é impossível criar regras que cubram todos os cenários, então é vital que comecemos a entender o que leva a comportamentos como a manipulação de recompensas e como evitá-los.”
A Era do autoaperfeiçoamento
Agora, a IA está num ponto de inflexão importante: está a desenvolver-se sozinha. “Até alguns meses atrás, os humanos decidiam o que fazer a seguir no desenvolvimento da IA”, explicou Santosh Vempala. “Agora, a IA está a melhorar-se sozinha, o que torna ainda mais importante descobrir e implementar esses protocolos de segurança.”
O trabalho não é um problema matemático tradicional. É um problema para a sociedade como um todo. “Não podemos trabalhar apenas individualmente ou em pequenos grupos nesta questão. Todos necessitam de prestar atenção e contribuir”, acrescentou o investigador. “Seja da área de matemática teórica, ética ou psicologia, o desenvolvimento dos princípios de segurança da IA envolvera-nos a todos de diferentes maneiras. Há uma real necessidade de que todas as pessoas de todas as áreas da vida se envolverem nesta jornada.”
