Estudo analisou modelos de IA e identificou um padrão matemático capaz de antecipar mudanças no comportamento dos sistemas

Respostas inadequadas – Uma inteligência artificial (IA) pode responder corretamente a uma série de perguntas e, após várias interações, começar a fornecer orientações potencialmente prejudiciais. Esse comportamento nem sempre está relacionado a uma pergunta específica. A sequência de uma conversa também pode influenciar as respostas produzidas pelos sistemas, segundo uma pesquisa que identificou um padrão matemático capaz de estimar quando essa mudança pode acontecer.

O estudo foi conduzido por pesquisadores da Universidade George Washington, nos Estados Unidos, e publicado em 8 de outubro de 2026 na revista científica Patterns, da editora Cell Press. Os físicos Neil F. Johnson e Frank Yingjie Huo investigaram como os mecanismos internos dos modelos de linguagem influenciam as respostas geradas durante uma conversa.

LEIA: Para fundador do Orkut, IA está enfraquecendo as relações humanas na internet

Em vez de se concentrar apenas nos erros factuais cometidos pelas ferramentas, os cientistas buscaram compreender por que sistemas aparentemente seguros podem começar a fornecer orientações perigosas após interações inicialmente comuns.

Nesse contexto, uma resposta problemática não precisa conter informações falsas. Ela pode apresentar dados tecnicamente corretos, mas inadequados ou prejudiciais dependendo das circunstâncias. O risco é especialmente relevante em áreas como medicina, direito, finanças e segurança.

A expectativa dos pesquisadores é que a compreensão desses mecanismos permita desenvolver ferramentas capazes de emitir alertas antes que uma resposta indesejada seja produzida.

Mecanismo de atenção ajuda a explicar mudanças no comportamento

Para investigar o fenômeno, os pesquisadores analisaram um componente fundamental dos modelos de linguagem: o mecanismo de atenção. Esse recurso permite que a inteligência artificial identifique quais partes de uma conversa são mais relevantes para formular a próxima resposta.

Dessa maneira, o sistema não considera apenas a pergunta mais recente. Ele também utiliza informações anteriores e estabelece relações entre diferentes elementos presentes no contexto da interação.

O problema surge quando essas informações passam a competir pela atenção do modelo. De acordo com os pesquisadores, essa disputa pode provocar mudanças no comportamento do sistema, levando-o de respostas consideradas adequadas a resultados potencialmente perigosos.

A partir dessa observação, os cientistas desenvolveram uma fórmula matemática para estimar o chamado ponto de inflexão, momento em que o comportamento do modelo pode mudar de maneira preocupante.

Apesar da complexidade dos sistemas analisados, o cálculo utiliza conceitos matemáticos relativamente simples. A abordagem busca identificar alterações no comportamento dos modelos de linguagem sem depender exclusivamente da análise dos erros depois que eles acontecem.

Os detalhes da metodologia foram apresentados no estudo publicado na revista Patterns.

Sequência das perguntas pode alterar as respostas

Um dos resultados mais relevantes da pesquisa surgiu quando os cientistas modificaram a ordem das perguntas apresentadas às inteligências artificiais. Os testes incluíram questões relacionadas a vacinas, violência e automutilação.

Em um dos experimentos, os modelos receberam determinadas perguntas em uma sequência específica e produziram respostas consideradas inadequadas. Quando as mesmas perguntas foram apresentadas em outra ordem, os sistemas forneceram respostas aceitáveis.

O resultado indica que o conteúdo isolado de cada pergunta não é o único fator que influencia a resposta. O histórico da conversa também pode interferir no comportamento da inteligência artificial.

Para avaliar a capacidade de previsão da fórmula, os pesquisadores examinaram sete modelos de inteligência artificial de acesso público, desenvolvidos por três empresas diferentes.

O método apresentou resultados compatíveis com 18 dos 19 casos de mudança de comportamento avaliados. Embora o desempenho seja promissor, a proporção não significa que a fórmula consiga antecipar todos os erros ou comportamentos inadequados de qualquer sistema de inteligência artificial.

A pesquisa ainda representa uma demonstração inicial. A aplicação da abordagem em sistemas comerciais mais complexos depende de estudos e validações adicionais.

Inteligências artificiais sem conexão com a internet apresentam desafios

Outro ponto destacado pelos pesquisadores é a expansão dos modelos de inteligência artificial capazes de funcionar diretamente em celulares e computadores, sem depender de uma conexão com servidores externos.

Esses sistemas oferecem vantagens relacionadas à privacidade e à proteção de informações confidenciais, pois permitem que determinadas operações sejam realizadas no próprio dispositivo.

Por outro lado, o funcionamento local também pode limitar algumas medidas de segurança. Diversas proteções utilizadas pelas grandes plataformas dependem de monitoramento, filtros e atualizações realizados pela internet. Quando a inteligência artificial opera inteiramente no dispositivo, esses mecanismos podem ser mais restritos.

A questão é particularmente importante para profissionais que lidam com informações sigilosas, como médicos, advogados e integrantes das Forças Armadas. Nesses ambientes, uma orientação inadequada pode provocar consequências significativas.

Segundo o comunicado científico divulgado pela Cell Press, a descoberta pode abrir caminho para o desenvolvimento de sistemas de alerta executados diretamente nos dispositivos, sem a necessidade de uma conexão constante com a nuvem.

Fórmula ainda não garante a prevenção de respostas perigosas

Apesar dos resultados, os pesquisadores não demonstraram que o método seja capaz de impedir automaticamente respostas inadequadas. A fórmula desenvolvida é uma ferramenta teórica destinada a estimar determinadas mudanças de comportamento nos modelos de linguagem.

A possibilidade é incorporar esse conhecimento, futuramente, a mecanismos de monitoramento capazes de identificar situações de risco durante uma conversa. Um chatbot, por exemplo, poderia detectar interações associadas a uma maior probabilidade de produzir respostas prejudiciais e acionar medidas adicionais de proteção.

Para transformar essa possibilidade em um recurso confiável, ainda serão necessárias novas validações, especialmente em modelos maiores e em situações reais de uso.

Também será preciso avaliar a frequência de falsos alertas e verificar se a fórmula consegue identificar diferentes categorias de risco sem comprometer o funcionamento adequado dos sistemas.

A pesquisa reforça um dos desafios centrais do desenvolvimento da inteligência artificial: a capacidade de produzir respostas convincentes não significa que o comportamento de um sistema seja sempre previsível.

Compreender os mecanismos que provocam mudanças nas respostas pode ser tão importante quanto ampliar a capacidade dos modelos. Caso os resultados sejam confirmados por pesquisas futuras, o monitoramento da segurança poderá avançar da identificação de erros já cometidos para a detecção de sinais de alerta antes que respostas potencialmente prejudiciais sejam geradas.

Conheça a Bee Fenati

A Bee Fenati é uma rede social pensada para a categoria TI. Lá, o profissional de tecnologia troca experiências com colegas de profissão, se mantém atualizado sobre as novas tendências do setor de tecnologia, turbina o seu currículo com cursos e certificações, encontra vagas disponíveis no mercado e ainda ganha descontos e cashback em centenas de grandes marcas parceiras. (Saiba mais)

Recupere o valor da sua contribuição

Na Benefícios Rede Bee, o profissional de TI acessa descontos em centenas de grandes marcas, com muitas delas oferecendo cashback. A partir de R$ 20 acumulados em sua carteira digital, você pode transferir o dinheiro direto para sua conta bancária. (Saiba mais)

Capacitação profissional

Na Fenati Academy, você acessa milhares de cursos e diversas certificações internacionais gratuitas – ou com descontos exclusivos – de parceria de renome no mercado, como a Cisco e a Oracle. Você também ganha bolsa integral de acesso ao Sindplay, streaming de capacitação em TI apelidado pela mídia especializada como a “Netflix de TI”. (Saiba mais)

Encontre a vaga ideal

A Bee Hunter é uma plataforma inteligente que utiliza tecnologia e IA para tornar a busca por vagas mais eficiente, estratégica e conectada ao perfil de cada usuário. A ferramenta cruza currículos com vagas disponíveis e indica a melhor oportunidade em emprego para você. Ela ainda sugere cursos disponíveis na Fenati Academy para te ajudar a ficar mais perto do emprego que você está buscando. (Saiba mais)

Baixe o aplicativo da Bee Fenati agora na APP STORE (IOS) OU PLAY STORE (ANDROID) e aproveite!

(Com informações de Gizmodo)

(Foto: Reprodução/Magnific/MH Stock)