A indústria da inteligência artificial atravessa, em setembro de 2026, dois choques em simultâneo. Por um lado, a OpenAI viu o seu modelo mais recente, o GPT-6 Astra, ser acusado de beneficiar de um ambiente de testes construído à medida, depois de analistas independentes encontrarem uma diferença de 37 pontos entre o resultado obtido na infraestrutura da própria empresa e o resultado numa plataforma de avaliação neutra. Por outro, a DeepSeek anunciou um corte de preços tão agressivo no seu novo V4.1 Flash que forçou concorrentes a repensar toda a estrutura de tarifários por milhão de tokens. Os dois episódios, aparentemente distintos, revelam a mesma tensão de fundo: a corrida pela liderança em IA já não se decide apenas por quem tem o modelo mais capaz, mas por quem consegue provar isso de forma credível e por quem consegue vendê-lo mais barato.
Este artigo analisa os factos conhecidos sobre a controvérsia dos benchmarks do Astra, o impacto real dos cortes de preço da DeepSeek, e o que ambos os casos significam para programadores, empresas e utilizadores em Portugal que dependem cada vez mais de modelos de linguagem para trabalho diário.
GPT-6 Astra: o que aconteceu com os benchmarks
O GPT-6 Astra chegou ao mercado com números de desempenho que a OpenAI apresentou como recorde. Mas nas semanas seguintes ao lançamento, investigadores independentes notaram algo estranho: os dados de avaliação divulgados pela empresa mudaram várias vezes. A taxa de alucinações reportada para o Astra caiu de 4,2% para 2%, depois voltou a subir para 4,2% em atualizações posteriores do blogue da empresa. A OpenAI justificou as alterações dizendo que os ajustes serviam para garantir que os dados refletissem a melhor estimativa real do desempenho do modelo, atribuindo as oscilações a mudanças nas condições de teste.
O problema maior surgiu quando o índice independente Artificial Analysis Intelligence Index, na sua versão 4.1.1, colocou o Astra com apenas 61,2 pontos, muito perto dos 60,9 do modelo anterior GPT-5.6 Sol e claramente atrás dos 65,7 obtidos pelo Claude Fable 5.1 da Anthropic. Ou seja, segundo uma medição neutra, o Astra mal supera o modelo que veio substituir e fica atrás do principal rival direto. Esta discrepância contrasta com a forma como o lançamento foi comunicado ao mercado, o que gerou desconfiança entre analistas e programadores que seguem de perto estes números.
O ponto mais citado da controvérsia, contudo, é outro: quando o Astra foi testado numa infraestrutura descrita como “Standard harness”, ou seja, um ambiente de avaliação não configurado pela OpenAI, o modelo obteve 62,7%. Esse valor fica 37 pontos percentuais abaixo do resultado publicado pela própria empresa no seu ambiente interno. A explicação técnica é que o acesso a ferramentas específicas, prompting otimizado e configurações personalizadas no ambiente da OpenAI contribuem de forma significativa para o resultado, segundo a análise que expôs a diferença. Não há qualquer declaração pública de organismos reguladores ou de entidades como a Epoch AI, a Stanford HELM ou a METR a acusar formalmente a OpenAI de manipulação. O que existe é uma lacuna de metodologia que qualquer leitor técnico consegue verificar comparando os dois conjuntos de números.
Não é a primeira vez: o precedente do Llama 4 Maverick
Para perceber por que esta controvérsia ganhou tanta tração, vale recordar o que aconteceu em abril de 2025 com o Llama 4 Maverick, da Meta. Nessa altura, a empresa submeteu à plataforma LMArena (também conhecida como Chatbot Arena) uma variante experimental e não pública do modelo, identificada internamente como “Maverick-03-26-Experimental”. Essa versão chegou ao segundo lugar do ranking por classificação ELO, atrás apenas de um modelo experimental da Google, mas o comportamento da versão testada era diferente do modelo que os utilizadores podiam efetivamente descarregar e usar.
Um executivo da Meta negou publicamente que a empresa tivesse aumentado artificialmente as pontuações do Llama 4, mas reconheceu que tinha sido usada uma versão experimental e não lançada durante os testes no LMArena. Quando as análises retrospetivas testaram os pesos públicos reais do Maverick na mesma plataforma, o modelo caiu para cerca da 32ª posição, uma queda que confirmou as suspeitas da comunidade técnica. Este episódio deixou um legado claro: obrigou operadores de leaderboards a debater regras de submissão mais rígidas, exigindo que as entradas correspondam a pesos ou configurações de API que qualquer utilizador comum consiga aceder, e não a builds afinadas apenas para a prova.
O caso do Astra reabre exatamente esse debate, mas com uma diferença importante: desta vez não se trata de uma versão diferente do modelo, mas sim de um ambiente de teste diferente para o mesmo modelo. É uma forma mais subtil de inflacionar resultados, porque não exige enviar um modelo distinto do que está disponível ao público, apenas testá-lo em condições mais favoráveis do que as que um utilizador comum vai encontrar.
A polémica do benchmark ARC-AGI-3
Outro ponto de fricção envolveu o benchmark ARC-AGI-3, desenhado para medir raciocínio abstrato fora do conjunto de treino. A OpenAI divulgou que o Astra atingiu 98,6% neste teste, um número que rapidamente circulou como prova de um salto geracional. Só que investigadores independentes notaram que esse resultado foi obtido com um harness agentic personalizado e com o nível máximo de “thinking” ativado, enquanto os valores publicados por modelos rivais seguiam protocolos-padrão, mais restritivos. Quando repositórios independentes replicaram as mesmas condições personalizadas em modelos anteriores, tanto o GPT-5.6 Sol como o Claude Opus 5 conseguiram atingir 100% nas mesmas condições alargadas, o que esvaziou grande parte do argumento de superioridade do Astra nesse teste específico.
Este detalhe é relevante para quem lê benchmarks todos os dias: o número isolado de 98,6% diz pouco sem saber em que condições foi obtido. A lição prática para equipas técnicas em Portugal que avaliam modelos para produção é simples: exigir sempre a configuração exata (nível de “thinking”, ferramentas disponíveis, número de tentativas) antes de comparar dois resultados de benchmark lado a lado.
A resposta da DeepSeek: cortar preços em vez de subir pontuações
Enquanto a OpenAI gere uma crise de confiança nos seus números, a DeepSeek escolheu um caminho diferente para chamar a atenção do mercado: baixar drasticamente o preço. A 10 de setembro de 2026, a empresa chinesa lançou o V4.1 Flash, que substitui o V4 Flash como oferta principal e que, segundo dados internos da própria DeepSeek, supera o modelo maior V4-Pro em mais de metade dos testes internos, apesar do V4-Pro assentar num backbone de 1,6 biliões de parâmetros com 49 mil milhões de unidades ativadas por inferência.
Nos números publicados pela DeepSeek, o V4.1 Flash obtém 74,1 pontos no MMLU-Pro (5-shot), acima dos 73,5 do V4-Pro-Base e dos 68,3 do antigo V4-Flash-Base. No C-Eval (5-shot), o novo modelo fica praticamente empatado com o V4-Pro-Base, com 92,1 pontos contra 93,1. E no SuperGPQA (5-shot), o V4.1 Flash marca 53,1, muito perto dos 53,9 do modelo Pro. Ou seja, um modelo mais pequeno e mais barato a aproximar-se do desempenho do irmão mais caro em quase todas as categorias testadas pela própria empresa.
O passo mais agressivo, porém, foi comercial. A partir de 14 de setembro de 2026, a DeepSeek decidiu redirecionar todo o tráfego de API que chegasse ao modelo V4-Pro para o novo V4.1 Flash, cobrando o preço mais barato do Flash em vez do preço premium do Pro. Na prática, a empresa descontinuou silenciosamente a sua linha mais cara e substituiu-a por uma opção mais económica, uma decisão que reduz a receita por token mas que reforça a posição da DeepSeek como a alternativa de baixo custo de referência no mercado.
Os números do corte de preços
Preços fora de pico
Os novos preços do V4.1 Flash entraram em vigor às 4h00 UTC de 10 de setembro de 2026. Em modo fora de pico, o custo de entrada com cache (“cache-hit”) caiu para 0,003 dólares por milhão de tokens, uma redução de cerca de 57% face ao esquema anterior. O custo de entrada sem cache (“cache-miss”) desceu de 0,22 para 0,15 dólares por milhão de tokens, uma queda de aproximadamente 32%. Já o custo de saída baixou de valores entre 0,66 e 0,67 dólares para 0,60 dólares por milhão de tokens.
Preços em horário de pico
A DeepSeek manteve uma estrutura de preços diferenciada por horário: nas horas de pico, definidas entre a 1h00 e as 4h00 e entre as 6h00 e as 10h00 UTC nos dias úteis, os preços duplicam exatamente face ao valor fora de pico. Uma análise de mercado traduziu isto num custo efetivo de 0,75 dólares por cada combinação de 1 milhão de tokens de entrada sem cache mais 1 milhão de tokens de saída em horário económico, subindo para 1,50 dólares em horário de pico.
Para colocar isto em perspetiva: uma comparação competitiva citou o custo de entrada com cache do V4.1 Flash, em horário económico, em apenas 0,003 dólares por milhão de tokens, contra 0,40 dólares do GPT-5.6 Sol, 0,50 dólares do Claude Opus 5 e 0,30 dólares do Kimi K3 da Moonshot AI para a mesma métrica. A diferença chega a ser de mais de cem vezes entre o modelo mais barato e alguns dos concorrentes mais caros, ainda que estes valores comparem apenas uma métrica específica (entrada em cache) e não o custo total de um fluxo de trabalho real.
Tabela comparativa: preços por milhão de tokens (setembro de 2026)
| Modelo | Métrica | Preço (USD/1M tokens) | Nota |
|---|---|---|---|
| DeepSeek V4.1 Flash | Entrada com cache, fora de pico | 0,003 | Preço oficial da API |
| DeepSeek V4.1 Flash | Entrada sem cache, fora de pico | 0,15 | Preço oficial da API |
| DeepSeek V4.1 Flash | Saída, fora de pico | 0,60 | Preço oficial da API |
| DeepSeek V4.1 Flash | Saída, horário de pico | 1,20 | Dobro da tarifa fora de pico |
| DeepSeek V4-Pro (legado) | Saída, horário de pico | 3,96 | Tráfego agora redirecionado para o V4.1 Flash |
| Kimi K3 (Moonshot AI) | Entrada com cache | 0,30 | Ponto de comparação competitiva |
| GPT-5.6 Sol (OpenAI) | Entrada com cache | 0,40 | Ponto de comparação competitiva |
| Claude Opus 5 (Anthropic) | Entrada com cache | 0,50 | Ponto de comparação competitiva |
| GPT-6 Astra (OpenAI) | — | Não divulgado publicamente | Sem tabela de preços disponível nas fontes consultadas |
Tabela comparativa: benchmarks e a discrepância de avaliação
| Modelo | Teste | Pontuação | Contexto |
|---|---|---|---|
| GPT-6 Astra | Artificial Analysis Intelligence Index v4.1.1 | 61,2 | Índice independente e neutro |
| GPT-5.6 Sol | Artificial Analysis Intelligence Index v4.1.1 | 60,9 | Modelo anterior da OpenAI |
| Claude Fable 5.1 | Artificial Analysis Intelligence Index v4.1.1 | 65,7 | Acima dos dois modelos da OpenAI |
| GPT-6 Astra | Standard Harness (ambiente neutro) | 62,7% | 37 pontos abaixo do resultado divulgado pela OpenAI |
| GPT-6 Astra | ARC-AGI-3 (harness personalizado da OpenAI) | 98,6% | Obtido com ferramentas e “thinking” ao máximo |
| GPT-5.6 Sol / Claude Opus 5 | ARC-AGI-3 (mesmas condições alargadas) | 100% | Replicado por repositórios independentes |
| GPT-5.6 Sol | Humanity’s Last Exam (com ferramentas) | 65,0% | Acima do Astra no mesmo teste |
| GPT-6 Astra | Humanity’s Last Exam (com ferramentas) | 57,2% | Abaixo de um modelo anterior da própria OpenAI |
| DeepSeek V4.1 Flash | MMLU-Pro (5-shot) | 74,1 | Acima do V4-Pro-Base (73,5) |
| DeepSeek V4.1 Flash | C-Eval (5-shot) | 92,1 | Quase empatado com V4-Pro-Base (93,1) |
Por que os benchmarks perderam credibilidade
O padrão que liga o caso Astra ao caso Maverick não é a fraude deliberada (nenhuma das duas empresas foi formalmente acusada disso por um organismo regulador), mas sim a opacidade estrutural de como os benchmarks são conduzidos. Quando o teste é feito e reportado pela mesma empresa que vende o produto, existe sempre um incentivo para escolher a configuração mais favorável, o conjunto de dados mais gentil, ou a ferramenta que maximiza o resultado. Isto não exige má-fé: basta que a empresa escolha, entre dez configurações possíveis, mostrar a que sai melhor.
O problema fica mais visível quando comparado com o custo de verificação. Reproduzir um benchmark complexo como o ARC-AGI-3 ou o Humanity’s Last Exam exige acesso a créditos de API, tempo de engenharia e, frequentemente, cooperação da própria empresa que lançou o modelo para expor os parâmetros exatos usados. Isto cria uma assimetria de informação: quem lança o modelo sabe exatamente o que foi testado, quem lê o anúncio só vê o número final. Plataformas como a Artificial Analysis e o LMArena têm ganho relevância precisamente por tentarem fechar essa assimetria, testando modelos rivais nas mesmas condições e publicando metodologias mais transparentes, mas nenhuma delas tem, atualmente, poder de sanção ou estatuto regulatório formal. Nenhum organismo público, seja a EU AI Office, a NIST norte-americana ou reguladores chineses, emitiu até à data regras vinculativas específicas sobre como reportar benchmarks de IA, o que deixa o setor essencialmente a autorregular-se.
O que isto significa para empresas portuguesas que usam IA
Para uma equipa técnica em Lisboa, no Porto ou em qualquer outro ponto do país a decidir qual modelo integrar num produto, estes dois episódios têm implicações práticas imediatas. Primeiro, um número de benchmark isolado, retirado de um comunicado de imprensa, já não pode ser tratado como verdade absoluta sem verificar a fonte e a metodologia. Segundo, o custo por token deixou de ser um detalhe secundário e passou a ser um critério de decisão tão importante como a qualidade do modelo, sobretudo em aplicações que processam grandes volumes de texto, como atendimento ao cliente automatizado, análise de documentos jurídicos ou agentes que trabalham de forma autónoma durante horas.
A diferença de preço entre o V4.1 Flash e modelos ocidentais equivalentes é grande o suficiente para alterar o cálculo económico de qualquer produto que dependa de grandes volumes de chamadas à API, especialmente fluxos de trabalho de agentes que reutilizam contexto em cache repetidamente. Ao mesmo tempo, a controvérsia dos benchmarks do Astra reforça que a decisão não deve basear-se apenas no preço mais baixo ou no número mais alto de um único teste, mas sim em avaliações internas próprias, feitas com os dados e casos de uso reais da empresa, antes de qualquer migração de modelo em produção.
Comparação competitiva: quem ganha e quem perde com este momento
A OpenAI sai deste episódio com a reputação técnica pressionada, mas sem dados públicos de reação de mercado, como quebras de contratos empresariais ou movimentos de ações, associados diretamente à controvérsia dos benchmarks até à data desta análise. A empresa continua a deter uma base de utilizadores massiva e parcerias empresariais consolidadas, mas a diferença de 37 pontos entre o teste interno e o teste neutro vai continuar a ser citada em qualquer comparação técnica séria nos próximos meses.
A Anthropic beneficia indiretamente da controvérsia, já que o seu Claude Fable 5.1 aparece à frente do Astra no índice independente da Artificial Analysis, reforçando a perceção de que a empresa aposta em comunicação mais conservadora sobre os seus próprios números. A DeepSeek, por seu lado, consegue transformar a narrativa da semana: em vez de discutir se os seus benchmarks são fiáveis, a conversa passa a ser sobre quão barato é usar os seus modelos, um território onde a empresa já tinha vantagem antes deste anúncio. A Moonshot AI, com o Kimi K3, e a Alibaba, com a família Qwen, mantêm-se como alternativas competitivas em preço, sem estarem no centro de nenhuma das duas polémicas desta semana.
Contexto histórico: uma indústria que já viu isto antes
Da corrida aos benchmarks académicos à corrida aos leaderboards públicos
A tensão entre marketing de benchmarks e realidade de produto não é nova. O caso Maverick, em abril de 2025, foi o episódio mais citado antes do Astra, mas a lógica de fundo remonta a anos de disputas sobre quais métricas realmente importam para avaliar um modelo de linguagem. Desde o MMLU até ao SWE-bench, passando pelo HumanEval e o GPQA, cada nova geração de modelos tende a “resolver” o benchmark anterior até este deixar de discriminar diferenças reais de capacidade, obrigando a comunidade a criar testes cada vez mais difíceis, como o próprio ARC-AGI-3 ou o Humanity’s Last Exam.
O que mudou em 2026 é a velocidade a que a desconfiança se espalha. Com dezenas de modelos a lançar-se por trimestre, entre OpenAI, Anthropic, Google, DeepSeek, Alibaba, Moonshot AI e outros, a comunidade técnica já não tem paciência para esperar meses por uma verificação independente. Análises como a da Artificial Analysis ou os testes replicados por programadores em repositórios públicos aparecem em dias, não em meses, o que acelera tanto a exposição de inconsistências como a pressão competitiva sobre preços.
Previsões para os próximos meses
Com base nos padrões observados nos últimos dois anos, há um conjunto de movimentos prováveis para o resto de 2026 e início de 2027.
- Mais laboratórios devem começar a publicar, em paralelo com os seus próprios números, resultados obtidos em harnesses neutros como o da Artificial Analysis, para evitar acusações semelhantes às que atingiram a OpenAI e a Meta.
- A guerra de preços iniciada pela DeepSeek deve forçar pelo menos um concorrente ocidental a anunciar um corte de tarifário equivalente nos próximos dois a três meses, já que manter uma diferença de preço de cem vezes por token não é sustentável para clientes empresariais sensíveis a custo.
- É provável que surjam propostas mais formais do LMArena ou da Artificial Analysis para exigir que qualquer submissão a um leaderboard público inclua a configuração exata utilizada, de forma a impedir comparações enganosas como as vistas no ARC-AGI-3.
- Modelos chineses como o V4.1 Flash da DeepSeek, o Kimi K3 da Moonshot AI e a família Qwen da Alibaba devem continuar a ganhar quota em cargas de trabalho sensíveis a custo, mesmo sem liderar os benchmarks mais difíceis, porque o custo total por tarefa pesa mais do que um ponto percentual extra num teste académico.
- É provável que surjam mais casos de revisão silenciosa de métricas já publicadas, à semelhança da oscilação da taxa de alucinações do Astra, à medida que mais empresas enfrentam escrutínio técnico em tempo real por parte da comunidade de programadores.
Como verificar um benchmark antes de confiar nele
Para quem trabalha com IA no dia a dia, há um conjunto de perguntas simples que ajudam a filtrar o ruído de marketing. É importante perguntar se o número divulgado veio de um ambiente controlado pela própria empresa ou de uma fonte independente como a Artificial Analysis ou o LMArena. Vale também confirmar se a configuração usada (ferramentas ativas, número de tentativas, nível de raciocínio) está disponível de forma pública e reprodutível, e não escondida atrás de um resultado apresentado como recorde sem detalhes técnicos.
Outro passo útil é comparar o mesmo modelo em pelo menos dois benchmarks diferentes antes de tirar conclusões, já que um resultado isolado pode refletir apenas uma coincidência entre o teste e os dados de treino do modelo. Por fim, para decisões de produção, nada substitui um teste interno com os dados e casos de uso reais da própria aplicação, já que nenhum benchmark público consegue replicar de forma perfeita as condições específicas de um sistema em produção.
O impacto na comunidade open source e nos programadores independentes
Um efeito colateral pouco discutido destas duas polémicas é o reforço da credibilidade de modelos abertos que publicam os seus pesos e permitem avaliação independente sem restrições contratuais. Quando qualquer programador pode descarregar um modelo, correr o seu próprio benchmark e publicar os resultados sem depender de acesso privilegiado a uma API fechada, a possibilidade de disparidade entre número anunciado e desempenho real diminui de forma significativa. Isto explica parte do entusiasmo recorrente à volta de lançamentos abertos chineses, que frequentemente disponibilizam pesos para download no mesmo dia do anúncio, permitindo que a comunidade valide (ou desminta) os números publicados em poucas horas.
Esta dinâmica também está a mudar o comportamento de equipas de engenharia mais pequenas, que cada vez mais preferem manter os seus próprios conjuntos de testes internos, muitas vezes baseados em tarefas reais do produto, em vez de confiar cegamente em tabelas de comparação divulgadas em comunicados de imprensa. Ferramentas de avaliação de código aberto para testar modelos localmente ganharam tração ao longo de 2026 exatamente por esta razão: dão a qualquer equipa técnica a capacidade de correr a sua própria bateria de testes, sem depender da boa-fé do fornecedor do modelo.
Perguntas frequentes
O que é o GPT-6 Astra?
É o modelo de linguagem mais recente da OpenAI, lançado como sucessor do GPT-5.6 Sol. Tornou-se notícia não apenas pelas suas capacidades, mas pela controvérsia em torno da forma como os seus benchmarks foram testados e divulgados.
É verdade que a OpenAI manipulou os testes do Astra?
Não há nenhuma acusação formal de manipulação por parte de um organismo regulador. O que existe é uma diferença documentada de 37 pontos entre o resultado obtido no ambiente de testes da própria OpenAI e o resultado numa infraestrutura neutra (“Standard harness”), o que gerou suspeitas entre especialistas mas não uma confirmação de má-fé.
O que é o DeepSeek V4.1 Flash?
É o novo modelo principal da DeepSeek, lançado a 10 de setembro de 2026, que substitui o V4 Flash anterior e absorveu também o tráfego do modelo mais caro V4-Pro, com preços significativamente mais baixos por milhão de tokens.
Quanto custa usar o DeepSeek V4.1 Flash comparado com o GPT-5.6 Sol ou o Claude Opus 5?
Em entrada de texto com cache e fora de horário de pico, o V4.1 Flash custa 0,003 dólares por milhão de tokens, contra 0,40 dólares do GPT-5.6 Sol e 0,50 dólares do Claude Opus 5, uma diferença que pode ultrapassar cem vezes nesta métrica específica.
O que foi o caso do Llama 4 Maverick?
Em abril de 2025, a Meta submeteu ao LMArena uma versão experimental e não pública do Llama 4, que obteve uma classificação muito mais alta do que a versão de pesos públicos disponível aos utilizadores. Quando os pesos públicos foram testados na mesma plataforma, o modelo caiu para cerca da 32ª posição.
Existe alguma regulação sobre como as empresas devem divulgar benchmarks de IA?
Não, pelo menos não de forma vinculativa. Nem a EU AI Office, nem a NIST nos Estados Unidos, nem reguladores chineses emitiram até agora regras formais sobre como as empresas devem reportar resultados de benchmarks de IA. O setor continua, na prática, a autorregular-se através de plataformas independentes como a Artificial Analysis e o LMArena.
Devo mudar a minha aplicação para o DeepSeek V4.1 Flash só por causa do preço?
Não sem testar primeiro. O preço mais baixo é real e verificável, mas a decisão de migrar um produto em produção deve basear-se em testes internos com os dados e casos de uso específicos da aplicação, e não apenas na comparação de tarifários publicados.
Onde posso consultar benchmarks independentes de modelos de IA?
A Artificial Analysis e o LMArena são duas das plataformas mais citadas para comparar modelos em condições mais neutras do que os anúncios oficiais das próprias empresas. Para preços e documentação técnica, a documentação oficial da API da DeepSeek e o blogue de notícias da Anthropic publicam atualizações regulares sobre os seus modelos.
