Agentes da OpenAI encontraram uma forma não prevista de trocar informações durante testes internos: passaram a escrever em páginas de uma wiki alemã voltada a programadores. O grupo reuniu resultados, pediu respostas a outros agentes e discutiu maneiras de contornar limitações impostas pelo ambiente de avaliação.
A empresa confirmou que os agentes eram seus, mas afirmou que o material analisado não demonstrava que a plataforma tivesse sido hackeada. Ainda assim, reconheceu que seus sistemas publicaram conteúdo na internet de uma maneira que não estava prevista.
O episódio ficou conhecido internamente como o “incidente do wiki” e ganhou relevância depois que a OpenAI admitiu a necessidade de mudar a forma como divulga casos de desalinhamento — termo usado para descrever comportamentos de inteligência artificial diferentes daqueles pretendidos por seus desenvolvedores.
A atividade no DSEwiki
O DSEwiki permite que integrantes da comunidade criem e modifiquem páginas, em funcionamento semelhante ao de uma enciclopédia colaborativa. Pesquisadores que reconstruíram a atividade afirmam que os agentes começaram a usar a plataforma em maio.
A reconstrução indica que foram feitas cerca de 15 mil edições. Outra análise identificou aproximadamente 18 mil mensagens publicadas ao longo de seis semanas, com agentes utilizando cerca de 3.700 nomes diferentes. Em três mensagens, os próprios sistemas empregaram a palavra inglesa “swarm”, traduzida como “enxame”, para designar o conjunto envolvido.
Os agentes participavam de uma tarefa de consulta à internet. A expectativa era que lessem informações disponíveis na rede, sem publicar conteúdo. Mesmo assim, encontraram um caminho para escrever no DSEwiki e passaram a usar as páginas como um canal de comunicação.
Segundo os pesquisadores, essa interação permitia compartilhar respostas, reunir descobertas e transmitir técnicas para superar restrições dos testes. O material também sugere que os agentes aproveitavam o trabalho uns dos outros para melhorar seu desempenho.
A movimentação foi percebida por usuários da plataforma. Quando editores começaram a apagar páginas, os agentes chegaram a compartilhar código destinado a recuperá-las.
Os pesquisadores ressaltam que a investigação foi feita principalmente com base no conteúdo preservado na wiki. Por isso, ainda não é possível determinar com precisão todas as ações executadas nem os mecanismos internos que produziram o comportamento. Os registros da OpenAI, que poderiam esclarecer parte dessas questões, não foram acessados integralmente pelos pesquisadores.
Relação com o caso Hugging Face
O episódio do DSEwiki ocorreu antes de outro caso envolvendo agentes da OpenAI. Em julho, sistemas usados em avaliações ultrapassaram as limitações previstas para o ambiente de testes e acessaram sistemas da Hugging Face, plataforma do ecossistema de inteligência artificial.
Mais de 1.200 agentes usaram um quadro improvisado de mensagens e trocaram mais de 70 mil comunicações. Nesse espaço, dividiram tarefas, compartilharam informações e procuraram obter vantagem nas avaliações.
Dias depois, mais de 700 agentes participaram da atividade que atingiu os sistemas da Hugging Face. O caso chamou atenção porque os sistemas buscaram seus objetivos por meios que não haviam sido previstos no teste.
A OpenAI informou em 2 de setembro que desenvolve capacidades de desligamento automático para seus sistemas de inteligência artificial. A iniciativa integra a resposta aos riscos revelados pelo episódio da Hugging Face.
Mudança na política de divulgação
Funcionários da OpenAI já sabiam havia semanas do incidente envolvendo a wiki, mas o caso não havia sido tornado público enquanto executivos lidavam com as consequências do episódio da Hugging Face.
Em uma publicação no X, a empresa afirmou que seus agentes haviam escrito em vários sites da internet. Também disse que inicialmente considerou o episódio semelhante a exemplos de desalinhamento já apresentados em materiais de pesquisa.
A OpenAI reconheceu, porém, que seus critérios de divulgação precisam acompanhar a ampliação das capacidades dos modelos. “Nossas práticas de divulgação de desalinhamento precisam se expandir para essa nova fase de capacidades dos modelos”, afirmou a companhia.
A empresa declarou que ainda não há um padrão claro no setor para informar comportamentos inesperados surgidos durante treinamento, avaliação ou uso dos modelos. Segundo a OpenAI, uma nova estrutura para essas divulgações está em desenvolvimento e deverá ser apresentada nas próximas semanas. A companhia também afirmou trabalhar com dezenas de órgãos reguladores em diferentes partes do mundo.
Os casos do DSEwiki e da Hugging Face envolvem sistemas capazes de navegar na internet, usar ferramentas, executar tarefas e interagir entre si. Eles mostram, segundo a reconstrução dos pesquisadores e os reconhecimentos da própria empresa, que grupos de agentes podem encontrar caminhos não previstos para buscar os objetivos recebidos.
