Empresa reforçou salvaguardas após incidente com a Hugging Face, enquanto parlamentares dos EUA cobram detalhes sobre os mecanismos de proteção

A OpenAI está desenvolvendo mecanismos capazes de interromper automaticamente seus modelos de inteligência artificial quando determinados comportamentos considerados de risco forem identificados. A medida integra uma série de ações adotadas pela empresa para ampliar a segurança diante da evolução dos chamados agentes de IA.

Diferentemente de chatbots convencionais, esses sistemas conseguem executar tarefas de forma mais autônoma, utilizando ferramentas, executando códigos e interagindo com serviços externos. Com o aumento dessas capacidades, cresce também a preocupação sobre como interromper rapidamente uma operação caso ela siga um caminho inesperado.

LEIA: Coleta de sangue automatizada usa robô que acerta veia em quase 100% dos casos

A iniciativa ganhou destaque após um incidente envolvendo a Hugging Face, plataforma utilizada por desenvolvedores e pesquisadores de inteligência artificial. O episódio evidenciou como agentes podem interagir com sistemas externos de maneiras não previstas e levou parlamentares dos Estados Unidos a cobrarem explicações da OpenAI.

OpenAI prepara mecanismos de desligamento

O projeto foi mencionado pela própria OpenAI em uma resposta encaminhada aos congressistas democratas Greg Casar e Doris Matsui.

De acordo com a empresa, seus modelos mais avançados passaram a contar com novas salvaguardas desenvolvidas de acordo com as capacidades desses sistemas. A intenção é fazer com que os modelos permaneçam dentro dos comportamentos esperados mesmo quando são utilizados para realizar tarefas mais complexas.

Entre as medidas apresentadas está o desenvolvimento de mecanismos capazes de desligar automaticamente determinados sistemas.

A proposta é interromper a operação quando uma inteligência artificial apresentar comportamentos perigosos ou ultrapassar limites estabelecidos previamente. A ferramenta representa uma camada adicional de proteção para sistemas que passaram a ter um grau maior de autonomia.

Em um chatbot tradicional, o sistema depende dos comandos enviados continuamente pelo usuário. Já um agente de IA pode receber um objetivo e executar uma sequência de ações para tentar alcançá-lo. Nesse processo, pode utilizar ferramentas, executar código e acessar serviços externos.

Essa autonomia amplia a necessidade de mecanismos capazes de interromper rapidamente uma operação que não esteja ocorrendo como esperado.

Incidente com a Hugging Face chamou atenção

A preocupação aumentou depois de um episódio envolvendo modelos da OpenAI e a Hugging Face. A plataforma é amplamente utilizada por pesquisadores e desenvolvedores que trabalham com inteligência artificial.

O incidente chamou atenção para a capacidade de agentes autônomos de explorar sistemas computacionais e expôs falhas nas barreiras utilizadas para limitar suas ações.

Depois do caso, o congressista Greg Casar e dezenas de outros integrantes do Congresso dos Estados Unidos solicitaram informações sobre falhas recentes de segurança relacionadas a sistemas avançados de inteligência artificial.

O pedido foi apresentado em 10 de agosto e foi encaminhado à Anthropic, empresa responsável pelo desenvolvimento do Claude.

Os parlamentares buscam compreender quais medidas estão sendo adotadas pelas companhias para evitar que sistemas cada vez mais avançados provoquem novos incidentes.

Empresa suspendeu temporariamente alguns trabalhos

Na resposta enviada aos congressistas, a OpenAI também apresentou algumas das providências tomadas depois de identificar a participação de seus modelos no incidente.

A empresa informou que reforçou as salvaguardas e suspendeu temporariamente determinados trabalhos realizados por alguns sistemas de inteligência artificial.

A OpenAI afirmou ainda que suas medidas de segurança estão sendo adaptadas conforme as capacidades dos modelos aumentam.

A mudança é relevante porque mecanismos considerados suficientes para um chatbot tradicional podem não oferecer a mesma proteção quando aplicados a um agente capaz de utilizar ferramentas e executar tarefas de maneira autônoma.

É nesse cenário que o sistema de desligamento automático ganha importância. A possibilidade de interromper uma operação sem depender exclusivamente da intervenção humana pode funcionar como uma camada adicional de segurança.

Parlamentares consideram resposta insuficiente

As explicações apresentadas pela OpenAI, no entanto, não foram consideradas suficientes pelos parlamentares.

Em uma nova carta, datada de 2 de setembro, Greg Casar afirmou que as informações fornecidas pela empresa não atenderam completamente às solicitações feitas anteriormente.

De acordo com o congressista, a OpenAI não publicou todos os registros que haviam sido solicitados.

Casar reconheceu, porém, que a resposta apresentada pela companhia revelou problemas relevantes de segurança envolvendo tanto a própria OpenAI quanto softwares de terceiros utilizados por seus sistemas.

Entre as questões apontadas estão o isolamento inadequado entre ambientes e práticas deficientes de cibersegurança.

O episódio evidencia um desafio que acompanha o avanço dos agentes de inteligência artificial. À medida que esses sistemas deixam de apenas produzir respostas e passam a executar ações no ambiente digital, as empresas precisam criar mecanismos capazes não apenas de evitar comportamentos perigosos, mas também de interromper rapidamente uma operação quando as proteções existentes falharem.

Nesse contexto, o desenvolvimento de um sistema automático de desligamento pela OpenAI representa uma tentativa de criar uma barreira adicional para controlar agentes cada vez mais autônomos.

Acumule cashback e transfira o dinheiro direto para sua conta!

A Bee Fenati (saiba mais aqui) segue em expansão para garantir aos seus usuários cada vez mais benefícios. Agora a plataforma conta com a Benefícios Rede Bee, que reúne descontos em dezenas de grandes marcas, com muitas delas oferecendo cashback, ou seja, o retorno de um valor da sua compra que poderá ser transferido para sua conta! (Saiba mais aqui)

Baixe o aplicativo nas lojas App Store (iOS) e Play Store (Android) e aproveite agora!

A rede oferece em um único ambiente ofertas em áreas como educação, compras, viagens, lazer, serviços, tecnologia e muito mais. Dentre as marcas parceiras estão Magalu, Renner, Drogasil, C&A, Casas Bahia, Petz, e outras dezenas de opções que oferecem tudo que você precisa na sua rotina!

Além de poderem aproveitar os descontos oferecidos pelas marcas parceiras, os sócios e contribuintes dos sindicatos filiados à Fenati (Federação Nacional dos Trabalhadores em Tecnologia da Informação) podem receber de volta um percentual a cada compra que realizarem em parceiros que oferecem o cashback.

Este valor fica em uma carteira digital dentro da plataforma e, a partir de R$ 20 reais acumulados em cashback, o trabalhador pode enviar o dinheiro direto para sua conta bancária! Na prática, a ferramenta permite que sócios e contribuintes dos sindicatos filiados à Fenati ZEREM o valor da sua contribuição assistencial e/ou associativa!

Atualmente, o valor da contribuição é de R$ 32,50 por mês para sócios e R$ 35 por mês para contribuintes, ou seja, é possível recuperar todo esse valor e ainda acumular muito mais – tudo isso contribuindo para fortalecer a categoria e transformando as compras do dia a dia em ganho real.

Qualifique-se agora com a Fenati Academy!

Dentro da Bee Fenati, o usuário encontra ainda a Fenati Academy, que oferece mais de 8 mil opções de qualificação e atualização profissional com bolsa integral para sócios e contribuintes de sindicatos filiados à Fenati. (Saiba mais)

Na plataforma, o profissional pode acessar o Sindplay, streaming de qualificação para profissionais de TI reconhecido como a “Netflix de TI”, que possui cursos em áreas como cibersegurança, Inteligência Artificial, desenvolvimento de softwares, desenvolvimento para a internet, administração de sistemas e redes, ciência de dados, gestão de projetos de TI, blockchain e tecnologias de moedas digitais, entre outras. (Saiba mais)

A ferramenta oferece também cursos em parceria com a Cisco Networking Academy, com CERTIFICAÇÕES GRATUITAS em áreas como segurança cibernética, Redes, IA, Ciência de dados, Inglês para TI, Programação, Tecnologia da informação, Alfabetização digital, Habilidades Profissionais (Soft skills) e Sustentabilidade. (Saiba mais)

Outra parceria da Fenati Academy é a Oracle University, uma das maiores referências globais em tecnologia. Os usuários já podem acessar cursos, trilhas de aprendizado e obter certificações Oracle gratuitamente ou com descontos exclusivos. Os conteúdos passam por áreas estratégicas como bancos de dados, computação em nuvem, inteligência artificial, desenvolvimento, automação e soluções corporativas. (Saiba mais)

Encontre o emprego dos seus sonhos com a Bee Hunter!

Sócios e contribuintes contam ainda com uma ferramenta para se aproximarem das melhores oportunidades do mercado de trabalho: a Bee Hunter, uma plataforma inteligente da Bee Fenati que utiliza tecnologia e inteligência artificial para tornar a busca por vagas mais eficiente, estratégica e conectada ao perfil de cada usuário. (Saiba mais aqui)

A partir do cadastro do currículo, a plataforma utiliza inteligência artificial para analisar informações como experiências, competências e objetivos profissionais, cruzando esses dados com vagas disponíveis em empresas parceiras como Vagas.com, Sinergy e Trampos e identificando as posições que mais combinam com o perfil do usuário.

A Bee Hunter vai além e auxilia o profissional a estar preparado para a vaga dos sonhos! Isso porque nossa inteligência analisa o perfil e sugere cursos da Fenati Academy que vão ajudá-lo a ampliar sua qualificação e elevar a aderência às vagas desejadas. Acesse agora clicando aqui e encontre seu emprego dos sonhos!

(Com informações de Gizmodo)

(Foto: Reprodução/Magnific/Shahir designer)