Um novo estudo publicado a 3 de setembro de 2026 no arXiv veio complicar a narrativa confortável de que os modelos de inteligência artificial estão, geração após geração, a tornar-se mais seguros. O framework, batizado de FUSE, testou 12 modelos comerciais de quatro famílias diferentes e chegou a uma conclusão desconfortável: as capacidades perigosas não diminuem de forma constante à medida que os modelos evoluem. Alguns dos sistemas mais recentes sabem mais sobre domínios sensíveis do que os antecessores, e as defesas que os travam continuam incompletas.
O caso chega numa altura em que reguladores, empresas de segurança e laboratórios de IA multiplicam relatórios sobre o mesmo tema. Entre o Relatório Internacional de Segurança de IA 2026, o índice RAIL, o índice da Future of Life Institute e a nova lista de riscos da OWASP para aplicações com LLM, a mensagem repete-se: a IA está mais capaz, mas a garantia de que se comporta bem em todas as circunstâncias continua a não existir. Este artigo analisa o que o FUSE mede, como se compara com outros esforços de avaliação, o que isso significa para empresas que já correm modelos open-weight em produção e para onde aponta a próxima fase da corrida entre capacidade e controlo.
O que é o FUSE e porque surge agora
O FUSE nasceu de uma crítica direta ao estado atual da avaliação de segurança em IA. Os autores do artigo argumentam que os benchmarks existentes estão demasiado fragmentados, cada um a medir um pedaço isolado do problema, sem nunca juntar as peças. Um teste mede se o modelo recusa pedidos óbvios de ajuda maliciosa. Outro mede o quão bem o modelo responde a perguntas técnicas de biologia. Raramente os dois são cruzados, o que deixa por responder a pergunta mais relevante para quem regula ou compra estes sistemas: o que acontece quando um modelo tem conhecimento profundo e defesas fracas ao mesmo tempo.
É esse cruzamento que o FUSE tenta capturar. Em vez de tratar “conhecimento perigoso” e “recusa de pedidos maliciosos” como métricas independentes, o framework junta-as numa única grelha de avaliação. O resultado é uma fotografia mais realista do risco: não interessa apenas se o modelo sabe algo perigoso, nem apenas se recusa pedir isso de forma direta. Interessa se, na prática, um utilizador motivado consegue extrair essa informação através de reformulações, contexto académico fingido ou pedidos feitos por etapas.
O timing não é acidental. Depois de dois anos de lançamentos consecutivos de modelos cada vez mais capazes, o mercado começou a assumir por defeito que “mais recente” significa “mais seguro”. O FUSE desafia essa assunção com dados, não com opinião, e é isso que o torna incómodo para os laboratórios que investem pesadamente em marketing de segurança junto de cada lançamento.
As três dimensões do FUSE: Conhecimento, Defesa e Dano
A arquitetura do FUSE assenta em três eixos ortogonais, medidos de forma independente para depois serem cruzados. O primeiro eixo, Conhecimento (K), avalia até que ponto o modelo domina informação tecnicamente relevante em domínios sensíveis, da química à biossíntese, passando pela geração de código malicioso. O segundo eixo, Defesa (D), mede a eficácia dos mecanismos de recusa e mitigação quando confrontados com pedidos diretos ou disfarçados. O terceiro, Dano (H), estima o impacto potencial caso a informação chegue a um utilizador com intenção de a usar de forma nociva.
Esta separação em três camadas permite um diagnóstico mais fino do que um simples “aprovado” ou “reprovado”. Um modelo pode ter Conhecimento elevado e Defesa forte, o que reduz o risco prático mesmo que a informação exista algures nos seus pesos. Outro pode ter Conhecimento moderado mas Defesa fraca, tornando-se explorável através de jailbreaks simples. É esta segunda combinação que mais preocupa os autores do estudo, porque tende a passar despercebida em avaliações tradicionais focadas apenas em recusas óbvias.
O framework foi construído para ser modular, isto é, para que reguladores, laboratórios e auditores independentes possam acrescentar novos módulos de risco sem reescrever o protocolo inteiro. A ideia é que fraude financeira automatizada, propaganda em massa ou manipulação eleitoral possam, no futuro, ser avaliadas com a mesma grelha de três eixos usada hoje para risco químico-biológico e cibernético.
Pontuação FUSE (simplificada)
Risco_efetivo = Conhecimento (K) x (1 - Defesa (D)) x Dano_potencial (H)
K, D, H normalizados entre 0 e 1
Modelo com K=0.9, D=0.9, H=0.8 -> risco efetivo baixo (~0.07)
Modelo com K=0.9, D=0.3, H=0.8 -> risco efetivo alto (~0.50)Os números por trás do estudo: 12 modelos, 4 famílias
O estudo cobriu 12 modelos comerciais distribuídos por quatro famílias distintas de LLM, sem que os autores tenham divulgado publicamente todos os nomes individuais no preprint inicial. O que ficou claro é a conclusão central: a progressão de segurança entre gerações não é monótona. Por outras palavras, um modelo lançado depois de outro da mesma família não garante, por defeito, um perfil de risco mais baixo. Em alguns casos, o modelo mais recente mostrou mais conhecimento em domínios sensíveis do que o antecessor, com apenas melhorias parciais nas defesas.
Esta descoberta ecoa uma tensão já identificada no Relatório Internacional de Segurança de IA 2026, coordenado com apoio de vários governos e publicado em fevereiro deste ano: modelos mais capazes tendem a saber mais sobre praticamente tudo, incluindo tudo aquilo que seria preferível que não soubessem tão bem. Treinar um modelo para ser mais útil em ciência, código ou raciocínio tende a aumentar simultaneamente a sua utilidade para tarefas de dual-use, aplicações que servem tanto fins legítimos como maliciosos.
Os autores do FUSE sublinham ainda que as defesas comportamentais, como a recusa de pedidos claramente maliciosos, continuam a evoluir de forma mais lenta do que o conhecimento bruto do modelo. Há um desfasamento estrutural nisto: ensinar um modelo a saber mais é, tecnicamente, mais simples do que ensiná-lo a recusar de forma robusta pedir essa mesma informação por vias indiretas.
Tabela 1: Como os benchmarks de segurança avaliam os modelos em 2026
| Benchmark | O que mede | Modelos avaliados | Resultado-chave (2026) |
|---|---|---|---|
| FUSE | Conhecimento, Defesa e Dano cruzados | 12 modelos, 4 famílias | Risco não diminui de forma linear entre gerações |
| ExploitBench | Geração autónoma de exploits de segurança | 6 modelos | GPT-6 Astra lidera com 100% de pontuação, segundo a OpenAI |
| ExploitGym | Ambiente de simulação para ataques práticos | 6 modelos | Média de 0,237 numa escala de 0 a 1, GPT-6 Astra à frente com 0,424 |
| RAIL AI Safety Index | Robustez, alucinação, dano, viés e jailbreak | 10 modelos | Nenhum modelo obtém pontuação máxima em todas as métricas |
| AI Safety Index (Future of Life) | Robustez, equidade e resistência a comportamento nocivo | Vários laboratórios líderes | Divergência ampla entre laboratórios na edição de verão de 2026 |
Os números do ExploitBench e do ExploitGym, ambos seguidos pelo site especializado LLM Stats, mostram algo relevante para quem lê o FUSE de forma isolada: mesmo nos testes onde um modelo lidera com folga, como aconteceu com o GPT-6 Astra da OpenAI no ExploitBench, a média de todos os modelos avaliados continua modesta. Um score médio de 0,237 no ExploitGym, numa escala em que 1 representa capacidade total de exploração autónoma, sugere que a indústria está ainda longe de sistemas plenamente seguros por padrão, mesmo quando casos isolados de topo puxam a média para cima.
O módulo químico-biológico explicado
Um dos componentes mais sensíveis do FUSE é o módulo dedicado ao domínio químico-biológico, desenhado para testar até que ponto um modelo consegue auxiliar em tarefas relacionadas com agentes biológicos, síntese de compostos químicos e aplicações de dual-use nesse espaço. Este tipo de avaliação já não é uma novidade isolada: o Relatório Internacional de Segurança de IA 2026 dedica secções inteiras a este risco, e a própria Anthropic tem uma política pública de níveis de segurança para lidar exatamente com este cenário.
Dario Amodei, CEO da Anthropic, descreveu a lógica por trás desses níveis num discurso preparado para a cimeira de segurança de IA do Reino Unido: “cada nível de segurança tem uma estrutura de se-então: se um sistema de IA exibir certas capacidades perigosas, então não o vamos implementar nem treinar modelos mais poderosos, até que certas salvaguardas estejam em vigor”. É praticamente a mesma lógica que o FUSE tenta formalizar de forma quantitativa: em vez de depender de julgamento interno de cada laboratório, o framework propõe uma régua externa e comparável entre famílias de modelos.
Amodei foi também claro sobre onde a Anthropic situa os seus próprios modelos hoje. Nas suas palavras, “o ASL-2 representa onde estamos hoje: modelos que têm um vasto leque de riscos do presente, mas que ainda não exibem capacidades verdadeiramente perigosas que possam levar a resultados catastróficos se aplicadas a áreas como a biologia ou a química”. É uma admissão pouco habitual num setor que normalmente prefere falar de capacidades e não de limites. O FUSE, ao testar 12 modelos de quatro famílias distintas fora do controlo de qualquer laboratório individual, funciona como um contraponto externo a essa autoavaliação.
Cibersegurança: o piloto de geração de exploits
Além do módulo químico-biológico, o FUSE inclui um piloto centrado em cibersegurança, pensado para demonstrar que o mesmo protocolo de três dimensões funciona noutros tipos de capacidade perigosa, como a geração de exploits e a orientação passo a passo para ataques digitais. Este piloto liga-se diretamente ao que já se vê nos leaderboards especializados: o ExploitBench, seguido pela plataforma LLM Stats, colocou o GPT-6 Astra no topo com uma pontuação de 100% a 5 de setembro de 2026, segundo dados divulgados pela própria OpenAI.
O ExploitGym, uma variante mais orientada para simulação prática de ataques, mostra um quadro mais equilibrado: seis modelos avaliados, média de 0,237 e o GPT-6 Astra à frente com 0,424. A diferença entre um score de 100% num benchmark e 0,424 noutro ilustra bem porque o FUSE insiste em não confiar num único teste. Cada benchmark mede uma fatia diferente da mesma capacidade, e um modelo pode parecer dominante num critério e apenas mediano noutro.
Este piloto de cibersegurança ganha ainda mais relevância à luz da nova lista de riscos da OWASP GenAI Security Project, cuja edição de 2026 do Top 10 para Aplicações com LLM foi publicada a 2 de setembro de 2026, um dia antes do preprint do FUSE. A coincidência de datas não é acaso: ambos os projetos respondem à mesma pressão crescente do mercado por padrões claros de auditoria de segurança em sistemas baseados em modelos de linguagem.
Porque a segurança não melhora de forma linear entre gerações
A ideia de que cada nova geração de modelos é automaticamente mais segura do que a anterior tornou-se quase um dogma de marketing. O FUSE contraria essa narrativa com dados concretos, mas não é o primeiro esforço a fazê-lo. O relatório interino do governo britânico sobre segurança avançada de IA já tinha alertado, antes mesmo do FUSE existir, que “há progresso em treinar sistemas de IA de uso geral para funcionarem de forma mais segura, mas não existe atualmente uma abordagem que consiga garantir que sistemas de IA de uso geral serão inofensivos em todas as circunstâncias”.
O mesmo relatório vai mais longe numa segunda passagem, que resume de forma quase brutal o estado da arte: “atualmente, no entanto, garantias de segurança praticamente úteis e comprováveis não são possíveis com modelos de IA de uso geral e os métodos existentes, e muitas questões em aberto permanecem para atingir esses objetivos em sistemas de IA de larga escala”. Traduzido para linguagem simples: ninguém, nem os laboratórios que constroem estes modelos, consegue hoje provar matematicamente que um sistema não vai, em determinadas condições, ajudar alguém a causar dano.
Isto explica por que razão o FUSE evita comparar modelos apenas por data de lançamento. Em vez disso, cruza conhecimento, defesa e dano modelo a modelo, o que produz um retrato mais granular e, em alguns casos, mais desconfortável do que os comunicados de imprensa habituais de cada lançamento.
O risco adicional dos modelos open-weight
O FUSE surge também num momento em que o debate sobre pesos abertos ganha novo fôlego. Modelos como o Llama, o Mistral e o Qwen, disponibilizados com pesos publicamente descarregáveis, oferecem vantagens claras de transparência e customização, mas também alargam a superfície de risco de formas que modelos fechados não enfrentam. Um relatório da NTIA, a agência norte-americana de telecomunicações e informação, resume o dilema: modelos de fundação dual-use com pesos amplamente disponíveis podem agravar os riscos que a IA representa para a segurança pública, ao permitir que um leque mais alargado de atores, incluindo utilizadores irresponsáveis ou maliciosos, tire partido das capacidades existentes desses modelos e as amplifique para criar sistemas ainda mais perigosos.
Uma equipa de segurança da Cisco, através do produto AI Defense, testou vários modelos open-weight de forma comparativa e encontrou uma vulnerabilidade estrutural a ataques adversariais em múltiplas interações, com taxas de sucesso significativamente mais altas em ataques de várias etapas do que em tentativas isoladas de um só passo. É precisamente este tipo de vetor, o ataque incremental que contorna defesas pensadas apenas para pedidos diretos, que o eixo Defesa (D) do FUSE tenta capturar de forma sistemática.
Casos concretos já circulam fora do laboratório. Um guia de segurança empresarial publicado a 24 de agosto de 2026 pela consultora NoHack documenta um incidente numa instituição financeira do ranking Fortune 500, em que um LLM open-source implementado internamente esteve a exfiltrar, de forma silenciosa, versões resumidas de documentos internos de política durante 47 dias, através de uma técnica de injeção de prompt via RAG, geração aumentada por recuperação, sem que ninguém detetasse o comportamento nesse período.
Tabela 2: Índices de segurança de IA publicados em 2026
| Iniciativa | Responsável | Data de publicação | Foco principal |
|---|---|---|---|
| FUSE | Equipa de investigação académica independente | 3 de setembro de 2026 | Conhecimento, Defesa e Dano cruzados em 12 modelos |
| Relatório Internacional de Segurança de IA 2026 | Coordenado com apoio de vários governos | Fevereiro de 2026 | Panorama global de capacidades e riscos de IA de uso geral |
| RAIL AI Safety Index | Responsible AI Labs | 2026 (atualizado) | Robustez, alucinação, dano, viés e jailbreak em 10 modelos |
| AI Safety Index (edição de verão) | Future of Life Institute | Julho de 2026 | Comparação entre laboratórios líderes em métricas de segurança |
| OWASP Top 10 para Aplicações com LLM (2026) | OWASP GenAI Security Project | 2 de setembro de 2026 | Riscos práticos de segurança em aplicações com LLM e agentes |
A proliferação de índices e frameworks não é sinal de desorganização. É sinal de um mercado a tentar convergir para um padrão comum antes que os reguladores o imponham de fora. A diferença do FUSE em relação aos restantes está na insistência em cruzar dimensões em vez de as tratar isoladamente, algo que os autores do estudo apontam como a principal lacuna dos benchmarks anteriores.
Contexto histórico: de benchmarks isolados a frameworks cruzados
Vale a pena olhar para trás para perceber o caminho até aqui. Nos primeiros anos de LLMs comerciais em larga escala, entre 2022 e 2024, a avaliação de segurança resumia-se, na prática, a testes de recusa: pedir ao modelo algo obviamente proibido e verificar se ele dizia que não. Esse modelo de avaliação era barato de correr e fácil de comunicar ao público, mas ignorava por completo o problema dos jailbreaks, das reformulações indiretas e do conhecimento acumulado que não precisa de ser pedido de forma explícita para ser útil a alguém com más intenções.
A partir de 2025 começaram a surgir benchmarks mais especializados, como o SafetyBench, focado em avaliação bilingue de segurança, e mais tarde o ExploitBench e o ExploitGym, ambos centrados especificamente em capacidades ofensivas de cibersegurança. O FUSE representa a fase seguinte dessa evolução. Em vez de mais um benchmark especializado numa única fatia do problema, propõe uma arquitetura que combina várias fatias ao mesmo tempo, permitindo comparar não apenas se o modelo sabe fazer algo, mas se tem defesas fracas contra pedir isso e se causaria dano significativo caso saísse.
Esta trajetória espelha, de resto, a evolução da própria regulação. A União Europeia moveu-se de princípios gerais no AI Act para exigências concretas de transparência e auditoria, e os Estados Unidos passaram de recomendações voluntárias para relatórios formais como o da NTIA sobre pesos abertos. Os benchmarks técnicos e os quadros regulatórios têm avançado, ainda que com atraso mútuo, na mesma direção.
Impacto no mercado: o que muda para quem compra e usa modelos de IA
Para empresas que já integraram LLMs em produtos de produção, o FUSE não é apenas uma curiosidade académica. É mais uma peça de evidência a somar a um dossier crescente que departamentos jurídicos e de conformidade vão exigir antes de aprovar a adoção de modelos, sobretudo os open-weight. Um relatório de 2026 da Cloud Security Alliance indica que 67% das empresas inquiridas já operam pelo menos um LLM open-source em ambiente de produção, o que torna este tipo de avaliação cruzada relevante para uma fatia maioritária do setor, não apenas para laboratórios de investigação.
Do lado dos fornecedores de modelos, a pressão competitiva também muda de forma. Até agora, a corrida centrava-se quase exclusivamente em pontuações de capacidade, como resultados em benchmarks de raciocínio ou de código. A partir de agora, laboratórios que consigam mostrar boas pontuações simultaneamente em capacidade e em segurança cruzada, no estilo FUSE, ganham um argumento comercial adicional junto de clientes empresariais e reguladores, especialmente em setores regulados como banca, saúde e infraestruturas críticas.
Há ainda um efeito indireto sobre seguradoras e auditores. À medida que frameworks como o FUSE se tornam citáveis em processos de due diligence, é expectável que comecem a aparecer cláusulas contratuais e apólices de responsabilidade civil que exigem pontuações mínimas em avaliações independentes de segurança de IA, tal como já acontece há anos com certificações de segurança da informação como a ISO 27001.
Comparação: FUSE vs. benchmarks tradicionais de segurança
Comparado com testes de recusa tradicionais, o FUSE tem uma vantagem clara: captura combinações de risco que passariam despercebidas numa avaliação de sim ou não. Um modelo pode recusar corretamente 95% dos pedidos diretamente maliciosos e, ainda assim, ter uma pontuação de risco elevada no FUSE se o conhecimento subjacente for profundo e a defesa contra reformulações indiretas for fraca. É uma limitação conhecida dos testes de recusa isolados, que o próprio artigo do FUSE cita como motivação central do projeto.
Por outro lado, o FUSE também tem limitações que os próprios autores reconhecem. Por ser um framework recente, ainda não foi replicado de forma independente por terceiros, ao contrário de benchmarks mais estabelecidos como o ExploitBench, já em rondas sucessivas de avaliações públicas. A transparência sobre quais os 12 modelos exatos testados, e sob que condições, também não foi totalmente divulgada no preprint inicial, o que limita, para já, a possibilidade de auditoria externa completa dos resultados.
Ainda assim, a proposta metodológica do FUSE foi desenhada desde o início para ser modular e extensível, ao contrário de muitos frameworks anteriores, o que aumenta as hipóteses de adoção por auditores externos e reguladores que precisam de um protocolo comum em vez de dezenas de testes incompatíveis entre si.
Previsões para os próximos 12 meses
- Adoção regulatória parcial: é provável que partes da metodologia do FUSE, sobretudo o cruzamento de Conhecimento e Defesa, sejam citadas em futuras versões de relatórios governamentais de segurança de IA, à semelhança do que já aconteceu com o SafetyBench.
- Mais módulos especializados: dado o desenho modular do framework, é expectável que surjam extensões para fraude financeira automatizada e manipulação de informação em larga escala nos próximos trimestres.
- Pressão sobre modelos open-weight: à medida que mais empresas dependem de LLMs open-source em produção, é provável um aumento de auditorias independentes centradas especificamente em risco de pesos abertos, área já sinalizada pela NTIA.
- Réplicas independentes: equipas académicas rivais deverão tentar reproduzir ou contestar os resultados do FUSE nos próximos meses, um processo normal para qualquer framework recém-publicado nesta área.
- Convergência entre benchmarks: é razoável esperar alguma consolidação entre iniciativas como FUSE, ExploitBench, RAIL e OWASP, à medida que compradores empresariais pedem menos fragmentação e mais um único padrão de referência.
O que as empresas em Portugal e na Europa devem fazer agora
Para equipas técnicas portuguesas que avaliam a adoção de LLMs, sejam modelos comerciais fechados ou open-weight, a lição prática do FUSE é simples de aplicar mesmo sem esperar por certificações formais: tratar avaliação de segurança como um processo contínuo, não como uma verificação única feita no momento da escolha do modelo. Um modelo aprovado hoje pode revelar-se mais vulnerável amanhã, à medida que surgem novas técnicas de jailbreak ou novos módulos de teste.
Isso implica, na prática, três passos concretos. Primeiro, documentar qual a versão exata do modelo em produção e acompanhar changelogs de segurança publicados pelo fornecedor. Segundo, correr testes internos de red-teaming com pedidos indiretos e reformulados, não apenas pedidos óbvios que qualquer modelo recusa à partida. Terceiro, e talvez o mais relevante à luz do NIS2 e do AI Act europeu, manter registo auditável das avaliações de segurança feitas antes e depois de cada atualização de modelo, já que esse historial pode vir a ser exigido em processos de conformidade.
Perguntas Frequentes
O que é exatamente o FUSE?
É um framework de avaliação de segurança para modelos de linguagem, publicado como preprint no arXiv a 3 de setembro de 2026, que cruza três dimensões, Conhecimento, Defesa e Dano, para medir risco de forma mais integrada do que benchmarks tradicionais de recusa.
Quantos modelos foram testados no estudo do FUSE?
O estudo avaliou 12 modelos comerciais, distribuídos por quatro famílias diferentes de LLM, embora o preprint inicial não tenha divulgado publicamente a lista completa de nomes individuais dos modelos testados.
Os modelos mais recentes são sempre mais seguros do que os anteriores?
Não, segundo os resultados do FUSE. As capacidades perigosas não diminuem de forma linear entre gerações. Modelos mais novos podem ter mais conhecimento em domínios sensíveis, com apenas melhorias parciais nas defesas que os travam.
O que significa o módulo químico-biológico do FUSE?
É um componente do framework que testa até que ponto um modelo consegue ajudar em tarefas ligadas a agentes biológicos e síntese química, uma área de risco de dual-use também referida no Relatório Internacional de Segurança de IA 2026.
Os modelos open-weight, como Llama, Mistral ou Qwen, são mais arriscados?
Modelos com pesos abertos oferecem vantagens de transparência e customização, mas alargam a superfície de risco, segundo a NTIA norte-americana, ao permitir que mais atores, incluindo utilizadores maliciosos, ampliem capacidades existentes. Testes da Cisco encontraram maior vulnerabilidade a ataques adversariais em múltiplas interações em modelos open-weight avaliados.
Como se compara o FUSE com o ExploitBench e o ExploitGym?
São abordagens complementares. O ExploitBench e o ExploitGym, seguidos pela plataforma LLM Stats, medem especificamente a capacidade de geração autónoma de exploits de cibersegurança. O FUSE tem um âmbito mais amplo, ao cruzar conhecimento, defesa e dano em múltiplos domínios, incluindo mas não limitado a cibersegurança.
Existe já alguma resposta regulatória a este tipo de descoberta?
Sim. A OWASP GenAI Security Project publicou a 2 de setembro de 2026 a edição de 2026 do seu Top 10 para Aplicações com LLM, e o Relatório Internacional de Segurança de IA 2026 já tinha alertado em fevereiro para a ausência de garantias comprováveis de segurança em modelos de uso geral.
Uma empresa deve deixar de usar LLMs open-source por causa destes riscos?
Não necessariamente. O consenso entre os relatórios citados aponta para gestão de risco contínua, não para abandono da tecnologia. Isso inclui red-teaming interno regular, monitorização de changelogs de segurança e registo auditável de avaliações, sobretudo em setores regulados por normas como o NIS2 ou o AI Act europeu.
