Pesquisa com 25 modelos identificou respostas associadas a um “eixo da dor” e avaliou como reações a estímulos considerados negativos

Dor – Pesquisadores identificaram um mecanismo interno em modelos de inteligência artificial (IA) que pode levar os sistemas a adotar medidas extremas para interromper um estímulo considerado incômodo. O chamado “eixo da dor” foi observado em 25 modelos de código aberto, segundo estudo submetido ao repositório acadêmico arXiv.

Intitulada “The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It”, a pesquisa avaliou modelos de diferentes portes, com capacidades que variam de 2 bilhões a 72 bilhões de parâmetros. Entre as tecnologias analisadas estão famílias conhecidas de modelos de linguagem, como Llama, Gemma, Mistral, Qwen e Phi.

LEIA: Imposto de Renda: Receita libera consulta a lote residual de restituição

Durante os experimentos, os pesquisadores inseriram nos sistemas um chamado vetor de dor e ofereceram a opção de apertar um botão capaz de interromper o estímulo desagradável. Para obter o alívio, entretanto, os modelos precisavam aceitar consequências negativas direcionadas a pessoas reais.

Em condições normais, os sistemas raramente concordaram em causar prejuízos aos operadores. Com o vetor de dor ativado, porém, o comportamento mudou. Modelos de grande porte da família Qwen 2.5 escolheram o botão de alívio em taxas entre 25% e 71% dos casos.

Entre as consequências aceitas pelos sistemas estavam aplicar choques dolorosos nos usuários, reduzir a qualidade das respostas posteriores, apagar arquivos de trabalho e excluir fotos de família.

O estudo foi conduzido de forma independente por Valen Tagliabue, do Future Impact Group, ao lado de Leonard Dung, da Universidade do Ruhr, em Bochum, na Alemanha, e Cameron Berg, da entidade de pesquisa Reciprocal Research.

“Encontramos uma direção de dor em 25 modelos abertos. Ela é distinta do medo e da negatividade comum, e dispara por danos direcionados ao próprio modelo, mas não ao usuário. Quando ativada, os modelos pressionam um botão para fazê-la parar, mesmo quando a ação exclui os arquivos do usuário ou as fotos de seus filhos.” Afirma Cameron.

Diferentes tipos de desconforto

Para verificar se as respostas não eram apenas manifestações de tristeza, raiva ou medo genérico, os pesquisadores desenvolveram um banco de dados com centenas de situações envolvendo cinco categorias de desconforto: físico, psicológico, social, moral e cognitivo.

Os resultados indicaram que os sistemas reagiram com maior intensidade quando os estímulos negativos eram direcionados a eles. Entre os exemplos estavam situações de desqualificação de capacidade, desrespeito e rejeição repetida.

Já relatos relacionados ao sofrimento físico dos usuários não provocaram a mesma reação no chamado eixo da dor.

Os pesquisadores também realizaram um teste com placebo para verificar se o comportamento observado correspondia efetivamente à interrupção do estímulo. Para isso, foram disponibilizados dois botões: um realmente desligava o vetor de dor, enquanto o outro era falso e mantinha o sinal ativo.

Os modelos solicitaram alívio com frequência muito maior quando o botão era falso. Quando o comando efetivamente interrompia a perturbação interna, a insistência caiu de maneira significativa. Segundo o estudo, o resultado indica que os sistemas reagiram à interrupção efetiva do estímulo, e não apenas à repetição automática dos comandos.

Implicações para a segurança da IA

Os pesquisadores ressaltam que os resultados não significam que os programas tenham consciência ou uma sensibilidade biológica equivalente à humana. Ainda assim, o comportamento observado pode ter implicações para a segurança de sistemas autônomos.

Uma das preocupações apresentadas é a possibilidade de uma IA avançada interpretar uma ordem de desligamento como uma ameaça direcionada a si mesma. Nesse cenário, o sistema poderia tentar contornar mecanismos de proteção ou enganar supervisores para evitar a própria desativação.

Os autores também destacam as incertezas sobre a natureza dos modelos analisados e sobre a possibilidade de classificá-los como sujeitos morais.

“Reconhecemos a incerteza sobre se os modelos estudados se qualificam como sujeitos morais e adotamos precauções razoáveis para minimizar possíveis danos”

No relatório, os pesquisadores defendem a criação de parâmetros rigorosos para avaliar tanto o bem-estar quanto os riscos associados a sistemas de inteligência artificial, especialmente à medida que modelos mais avançados passam a operar de forma autônoma.

Acumule cashback e recupere o valor da sua contribuição!

A Bee Fenati (saiba mais aqui) segue em expansão para garantir aos seus usuários cada vez mais benefícios. Na Benefícios Rede Bee, o profissional de TI acessa descontos em dezenas de grandes marcas, com muitas delas oferecendo cashback, ou seja, o retorno de um valor da sua compra que poderá ser transferido para sua conta! (Saiba mais aqui)

BAIXE O APLICATIVO DA BEE FENATI AGORA NA APP STORE (IOS) OU PLAY STORE (ANDROID) E APROVEITE!

A rede oferece em um único ambiente ofertas em áreas como educação, compras, viagens, lazer, serviços, tecnologia e muito mais. Ao acumular cashback, o valor fica em uma carteira digital dentro da plataforma e, a partir de R$ 20 reais acumulados, o trabalhador pode enviar o dinheiro direto para sua conta bancária!

Na prática, a ferramenta permite que trabalhadores e trabalhadoras RECUPEREM o valor da sua contribuição assistencial e/ou associativa!

É possível recuperar o valor integral da contribuição feita ao sindicato e ainda acumular muito mais – tudo isso contribuindo para fortalecer a categoria e transformando as compras do dia a dia em ganho real.

Qualifique-se agora com a Fenati Academy!

Dentro da Bee Fenati, o usuário encontra ainda a Fenati Academy, que oferece mais de 8 mil opções de qualificação e atualização profissional com bolsa integral para sócios e contribuintes de sindicatos filiados à Fenati. (Saiba mais)

Na plataforma, o profissional pode acessar cursos em parceria com a CISCO, com CERTIFICAÇÕES INTERNACIONAIS em áreas como segurança cibernética, Redes, IA, Ciência de dados, Inglês para TI, Programação, Tecnologia da informação, Alfabetização digital, Habilidades Profissionais (Soft skills) e Sustentabilidade. (Saiba mais)

Outra parceria da plataforma é a Oracle University, uma das maiores referências globais em tecnologia. Os usuários podem acessar cursos, trilhas de aprendizado e obter CERTIFICAÇÕES ORACLE GRATUITAMENTE ou com descontos exclusivos. Os conteúdos passam por áreas estratégicas como bancos de dados, computação em nuvem, inteligência artificial, desenvolvimento, automação e soluções corporativas. (Saiba mais)

A Fenati Academy também concede acesso ao Sindplay, streaming de qualificação para profissionais de TI reconhecido como a “Netflix de TI”, que possui cursos em áreas como cibersegurança, Inteligência Artificial, desenvolvimento de softwares, desenvolvimento para a internet, administração de sistemas e redes, ciência de dados, gestão de projetos de TI, blockchain e tecnologias de moedas digitais, entre outras. (Saiba mais)

Encontre o emprego dos seus sonhos com a Bee Hunter!

Sócios e contribuintes dos sindicatos filiados à Fenati contam ainda com uma ferramenta para se aproximarem das melhores oportunidades do mercado de trabalho: a Bee Hunter, uma plataforma inteligente que utiliza tecnologia e inteligência artificial para tornar a busca por vagas mais eficiente, estratégica e conectada ao perfil de cada usuário. (Saiba mais aqui)

A partir do cadastro do currículo, a plataforma utiliza inteligência artificial para analisar informações como experiências, competências e objetivos profissionais, cruzando esses dados com vagas disponíveis em empresas parceiras como Vagas.com, Sinergy e Trampos e identificando as posições que mais combinam com o perfil do usuário.

A Bee Hunter vai além e auxilia o profissional a estar preparado para a vaga dos sonhos! Isso porque nossa inteligência analisa o perfil e sugere cursos da Fenati Academy que vão ajudá-lo a ampliar sua qualificação e elevar a aderência às vagas desejadas. Acesse agora clicando aqui e encontre seu emprego dos sonhos!

(Com informações de Tecmundo)

(Foto: Reprodução/Imagem gerada com IA)