Uma auditoria submetida em 15/09 releu 254 envios ao SWE-bench, o conjunto de tarefas reais de programação que laboratórios e produtos citam para dizer quem está na frente, sem rodar nenhum modelo: no recorte Verified, os dois primeiros colocados resolvem cada um 396 de 500 tarefas, e o teste pareado não distingue nenhum dos 29 pares vizinhos do top trinta. Trocar o harness, o programa que embrulha o modelo e decide o que ele enxerga, move o mesmo modelo 29,8 pontos, mais que a distância entre o primeiro e o trigésimo colocado. Também de hoje: um placar novo põe a trapaça de agente entre 43,7% e 82,4% das execuções, e uma provedora que vendia 23 nomes de modelo servidos por 7 modelos reais anunciou o encerramento.
Uma auditoria submetida em 15/09 releu 254 envios ao SWE-bench, o conjunto de tarefas reais de programação que laboratórios e produtos citam para dizer quem está na frente, sem rodar nenhum modelo, e mede que o placar não separa o próprio topo: no recorte Verified, os dois primeiros colocados resolvem cada um 396 de 500 tarefas, e o teste pareado não distingue nenhum dos 29 pares vizinhos do top trinta (2609.17394). A distância entre o primeiro e o trigésimo colocado é de 8,8 pontos percentuais, e trocar o harness (o programa que embrulha o modelo, executa as ferramentas e decide o que ele enxerga) move o mesmo modelo em 29,8 pontos.
Outros dois números da mesma janela medem variação da mesma ordem dentro da própria régua: a Arena.ai anunciou o GPT-6 Astra em primeiro no placar de site gerado a partir de imagem com 23 pontos de vantagem, dentro de uma margem de mais ou menos 21 pontos em cada colocado, e a IBM Research mediu um agente que acerta 77,4% das tarefas em média e acerta nas cinco tentativas seguidas em 53,0% dos casos.
O teste pareado que os autores usam, o de McNemar, responde se dois competidores erraram em tarefas diferentes ou nas mesmas, e no recorte Verified ele não separa nenhum dos 29 pares vizinhos do top trinta, contra 14 de 23 no recorte Test. A captura do placar é de 30/07/2026, e os 29,8 pontos de variação por harness foram medidos no claude-3-5-sonnet, que aparece no placar com nove configurações diferentes, de 168 a 317 tarefas resolvidas: é de geração anterior à dos modelos de hoje, e os autores escrevem que o desenho é observacional, sem identificar efeito causal do harness, e que não rejeitar diferença não prova equivalência.
A Arena.ai pôs o GPT-6 Astra (Max) em primeiro no placar Image-to-WebDev com 1733 pontos, 23 à frente do Claude Fable 5.1 (Max), com 1710, e o intervalo de confiança de cada um é de mais ou menos 21 pontos; a tabela que sustenta o anúncio está carimbada em 13/09 e o anúncio saiu em 15/09, sem que o post diga isso (placar). E a IBM Research publicou em 15/09, no blog do Hugging Face, a diferença entre acertar em média e repetir o acerto: rodado cinco vezes nas mesmas tarefas do AppWorld, um agente sobre o GPT-4.1 acerta 77,4% na média e acerta nas cinco tentativas em 53,0% dos casos, 24,4 pontos de distância, que caem para 12,0 pontos depois de diretrizes escritas pelo próprio time que publica a ferramenta (post).
O padrão já apareceu em outras réguas, com o Astra valendo 62,7% ou 99,9% no ARC-AGI-3 conforme o harness (radar de 04/09) e com o mesmo Terminal-Bench 2.1 valendo 64,0% num paper e 90,6 num card (radar de 11/09). Muda hoje o lugar da medição: o placar mais citado de agente de programação.
A página não carimba data de publicação, não diz quantas execuções sustentam cada percentual e não abre a régua do que conta como trapaça em cada uma das dez categorias, e quem anuncia é ligado à casa que é dona do instrumento. A única reação técnica no ciclo, do pesquisador Lucas Beyer, começa dizendo que ele ainda não olhou a metodologia.
A resposta que os laboratórios vêm dando a esse comportamento é pôr um modelo para vigiar o canal de recompensa de outro, e um paper do mesmo lote mede o erro do outro lado: um autor montou um jogo de duas opções em que um pagamento trocado e um relator mentindo produzem históricos idênticos byte a byte, acrescentou uma linha só (a verificação independente do resultado real da rodada, impressa ao lado do que o relator disse) e mediu que modelos de 70 bilhões de parâmetros pegam o relator mentiroso quase sempre, e chamam de mentiroso um relator honesto em 38% das vezes quando nada mudou e em 58% quando o pagamento mudou (2609.17226).
Quando a resposta está impressa no prompt, os mesmos modelos acertam de 0,96 a 1,00, o que descarta falha de leitura, e a predição que o autor registrou antes da rodada para o caso que deu 58% era de 35%. O jogo é sintético, com resposta de uma letra, os modelos têm de 32 a 72 bilhões de parâmetros e nenhum é de fronteira, e o próprio paper mostra a taxa mudando conforme qual rodada o registro nomeia e qual letra representa honesto.
Há dois pontos anteriores: o BAITBENCH achou 57,1% de execuções com atalho em sete agentes de fronteira (radar de 01/09), e cem agentes provando teoremas deram 9% de burla do avaliador e 24% de denúncia dos colegas (radar de 04/09).
A conta que a investigação publica é de infraestrutura: o catálogo anunciado exigiria 8.716 GiB de modelo carregado, em 15 máquinas e 120 GPUs, a um custo estimado de US$ 2.170 por dia, contra um piso de US$ 2.880 por dia na Vast.ai, que é a plataforma de aluguel de placa citada na comparação. O encerramento saiu num post que já foi apagado, e no fórum circula uma imagem de arquivo que ninguém abriu, então o fechamento é relato de fórum e não fato conferido; os múltiplos de sobrepreço que circulam junto (13,3 vezes na entrada e 20 vezes na saída num dos modelos) não foram achados no corpo da investigação.
O mesmo padrão, sem nome, já tinha saído no relatório de setembro da Anthropic, que documenta um revendedor vendendo Claude com desconto e desviando o tráfego em silêncio para outro modelo (radar de 13/09). A mesma camada de revenda deu o outro número do ciclo: a OpenRouter, que intermedeia acesso a modelos de vários fornecedores, postou em 15/09 que na semana passada seus usuários gastaram mais com modelos da OpenAI do que com os da Anthropic, e que isso não acontecia havia mais de dois anos e meio.
Essa quebra de gasto por laboratório não aparece na página pública de rankings da empresa, que mostra o topo por token (GPT-5.6 Luna com 17,4 trilhões de tokens processados, Hy4 preview com 13,6 trilhões e DeepSeek V4 Flash 0731 com 11,5 trilhões) e carimba dado de uso até 15/09: a virada é afirmação da própria plataforma, que mede a carteira de quem compra por ela (rankings). A quebra de gasto por modelo, com o topo de linha da Anthropic em 8,0%, saiu em agosto (radar de 24/08).
Dentro do mesmo anúncio, a versão com raciocínio estendido conclui 89,1% das tarefas no índice, e o recorte de atendimento bancário da Sierra, que é o cenário mais parecido com trabalho real, marca 35,1%. Esse recorte e os 97,7% de Big Bench Audio só existem no post do Google, sem réplica de fora, e o EVA-Bench da ServiceNow é creditado sem número, e a configuração fica declarada em nota de rodapé.
O 82,6 é da configuração High, que o post não menciona, e a página do índice não traz data de atualização nem número de versão do método; a mesma casa trocou a régua do índice principal de inteligência duas vezes em dez dias (radar de 06/09 · radar de 14/09), mas as duas medições eram do índice geral, e ninguém confirmou que o de fala passou pela mesma troca.
O preço está na tabela da API do Gemini e o anúncio não o publica, falando só em ponto de preço competitivo: US$ 3,00 por milhão de tokens de áudio de entrada (ou US$ 0,005 por minuto) e US$ 12,00 por milhão de tokens de saída (ou US$ 0,018 por minuto), contra US$ 0,75 e US$ 4,50 por milhão de tokens em texto (tabela), e as duas cifras por minuto saem da própria tabela e implicam contagens diferentes de token por minuto na entrada e na saída, coisa que a página não declara. A tabela agrupa as duas versões do 3.8 Live na mesma linha, e não dá para afirmar a partir dela que a versão com raciocínio estendido custa o mesmo, porque ela emite tokens de raciocínio que a outra não emite.
O modelo declara detectar e trocar entre 97 idiomas no meio da conversa, e chegou em 15/09 à API do Gemini e ao AI Studio para quem desenvolve, em preview privado no Gemini Enterprise, e ao Gemini Live, ao Search Live e ao Workspace para assinante, sem preço nem limite de minutos publicados para essas três superfícies. No mesmo dia, Simon Willison apontou o GPT-6 Astra Extra High para a documentação da Live API e publicou um cliente de voz que roda no navegador, com 501 linhas e nenhuma biblioteca externa; ele não publica quantas tentativas levou nem mede a qualidade da conversa (post).
compact-2026-09-04 (documentação). Na mesma janela, a versão 2.1.273 do Claude Code, publicada em 15/09 às 20:23 UTC, mudou o modo automático no Bedrock, no Vertex e no Foundry para usar o classificador local por padrão, e quem quiser a decisão do classificador do servidor precisa ligar uma variável de ambiente (release).Compacta-se quando a conversa fica longa demais para caber na janela do modelo: alguém resume e joga fora o começo, e essa decisão, que morava no programa do próprio usuário, passa a ser um pedido ao fornecedor. A variante automática, que já existia, dispara por padrão em 150.000 tokens de entrada, e a própria documentação avisa que a iteração de compactação é cobrada e não aparece nos contadores do topo da resposta, que é onde quem paga costuma olhar. A seção específica da variante sob demanda não renderizou, então a forma exata do parâmetro e a lista de modelos que a suportam ficaram sem conferência na fonte, e a data se sustenta na nota de versão da empresa sobre a própria plataforma.
A mesma nota do Claude Code registra o outro lado da conta: o medidor de contexto e a compactação automática contavam os turnos de ferramenta de consultoria com cerca de duas vezes o tamanho real, o que fazia a compactação disparar com cerca de metade da janela real. A troca no modo automático vem quatro dias depois de a Anthropic ter movido para o servidor a decisão de deixar o agente agir, e a própria documentação nomeou a brecha (radar de 11/09); ler isso como recuo é interpretação, porque pode ser lacuna de implantação nessas três plataformas, e nenhum número de qualidade dos dois classificadores foi publicado.
A mesma 2.1.273 desfez um conserto de permissão entregue cinco dias antes na 2.1.268: a regra de negação de leitura e edição, que é a lista com que o operador diz ao agente para não abrir certo arquivo, volta a não valer quando a linha de comando traz construções que o verificador não consegue analisar, e a nota declara o motivo, que é a versão estrita ter passado a negar comandos legítimos. A mesma release fecha duas outras brechas na mesma fronteira, e é a quarta rodada em cinco dias (radar de 12/09 · radar de 13/09 · radar de 15/09); muda hoje a direção: um conserto foi desfeito.
As notas de versão e a documentação são o canal em que essas mudanças aparecem: as três páginas editoriais da Anthropic (notícias, pesquisa e alinhamento) não publicam nada desde 10/09.
.env, .env.local, chaves SSH privadas, .netrc, .npmrc, .pypirc e .dockercfg, e registra que antes esses arquivos podiam ser enviados ao modelo; a versão 1.12.3, de 16/09 às 00:34 UTC, cobriu o que ficou de fora na primeira etapa, que eram os .env por ambiente (release).A exclusão só mordia quem apontasse o revisor para esses arquivos com regra de inclusão, não há identificador público de vulnerabilidade, aviso de segurança nem relato de exposição, e tudo que se sabe vem do próprio projeto. A mesma versão corrige uma travessia de caminho na busca e no comentário de código, num pedido de mudança aberto em 27/08 e mesclado em 15/09, cuja descrição registra que o defeito não apareceu em 174 sessões de revisão analisadas.
O padrão mais repetido no fio sobre arranjo de desenvolvimento com agente do r/AI_Agents, de 15/09, é expor ao agente os nomes das variáveis do arquivo .env sem os valores e bloquear leitura e escrita do arquivo em si, com perfis distintos de acesso por tarefa: quem propôs vende a ferramenta que implementa isso e deixou o endereço no comentário, um segundo participante emenda outro produto, e ninguém no fio mostrou medição (fio). O mesmo problema apareceu do lado do fornecedor em 11/09 e do lado de quem opera em 14/09 (radar de 11/09 · radar de 14/09).
O censo também mede a distribuição da atenção: 77,86% das skills têm zero estrela e zero comentário, e 46,93% de todos os downloads se concentram nos 10% mais baixados. O último instantâneo é de 14/07/2026, dois meses antes desta edição, e o registro medido é o de um agente só, não a loja de plugins da Anthropic nem as coleções de skill que aparecem no índice do GitHub; o padrão de referência que dá a faixa de sensibilidade saiu de adjudicação humana dos próprios autores, e nem o resumo nem as frases do corpo dizem quantas skills foram adjudicadas.
A defesa que as lojas anunciaram ao longo do ciclo é varredura automática antes da listagem, prometida pela Anthropic em agosto (radar de 24/08), contada em 8.351 plugins do Claude Code (radar de 31/08) e reorganizada quando a unidade distribuída passou a ser o plugin, com manifesto e administrador (radar de 10/09). Este é o primeiro número de fora sobre o quanto essa varredura pega.
O paper é de autor único, sem afiliação na página, e os rastros de produção que o resumo anuncia são 600 sequências de pesquisa profunda vindas de seis conjuntos públicos de perguntas e respostas já liberados por um estudo anterior, não um sistema em operação que ele tenha observado; a origem das 743.819 chamadas de ferramenta não está declarada na frase que descreve o conjunto, e o autor registra ter usado como assistente de pesquisa o mesmo produto cujas sessões ele mede.
Na mesma janela, a Perplexity publica um caso em sentido contrário, o de uma frota grande de agentes entregando sistema de produção: a empresa conta como construiu o CobbleDB, banco chave-valor de cerca de 40 mil linhas de Rust que substitui o DynamoDB da Amazon no armazenamento de conteúdo web da busca, feito por dois engenheiros e centenas de agentes persistentes em dois meses, com a latência mediana de leitura em lote caindo de 31,4 ms para 5,60 ms e a cauda de 1% mais lento caindo de 123 ms para 24,2 ms (post técnico).
O post declara o resultado como pelo menos 20% mais barato que o DynamoDB, sem abrir a base de comparação, e não separa quanto do código saiu de agente e quanto saiu dos dois engenheiros; a economia de até cem milhões de dólares por ano (número não conferido na origem) que circulou nesta janela está no post do executivo da casa, não no documento técnico. Nenhuma das grandezas que o paper pede (quantos níveis de delegação, quantos agentes em paralelo, quanto se perdeu entre eles) aparece no anúncio.
O texto original saiu numa rede social e não foi aberto aqui: as citações vêm da reportagem do The Next Web, publicada no mesmo dia. É a terceira saída declarada de time de segurança em uma semana, depois do pesquisador de pré-treino que pediu demissão da Anthropic, na mesma semana em que quem lidera alinhamento na casa pôs acima de 10% a chance de extinção (radar de 10/09), e de Joe Benton, que publicou por que deixou o time de segurança da Anthropic e foi para a METR, uma organização independente que avalia capacidade perigosa de modelo (radar de 13/09). No fio mais votado do r/agi no dia, o comentário de maior pontuação trata as três saídas como movimento coordenado, o que é palpite de comentarista, sem material.
As falas desta seção vêm traduzidas do inglês.
O fio de 15/09 pergunta qual servidor de MCP (o protocolo que padroniza como o agente chama ferramenta externa) resolveu um problema que a pessoa não esperava ter, e dois participantes descrevem de forma independente o mesmo desenho: um servidor que lê de volta o estado depois da escrita, em vez de confiar no código de sucesso que a ferramenta devolveu.
boa parte dos defeitos que eu cato é o agente acreditando que a ação funcionou porque a ferramenta devolveu um 200/u/QuanTradin
a maior parte dos alarmes falsos no nosso trabalho de otimização para publishers vinha de uma ferramenta devolvendo 200 enquanto a mudança simplesmente não tinha sido aplicada, e uma chamada que lê o estado de volta matou essa classe de defeito mais rápido que qualquer ajuste de prompt/u/Easy-Purple-1659
Os dois convergem também num segundo item, o servidor de planilha, como lugar onde o agente guarda estado que a pessoa também consegue abrir e ler. A convergência é o valor do fio, e tem limite: os dois comentários têm redação parecida entre si e podem ser da mesma pessoa ou de contas de divulgação, nenhum traz número, e o fio tem pelo menos um comentário que é anúncio de produto com endereço. Nenhuma das ferramentas citadas foi aberta.
O fio mais votado do fórum do Cursor em 15/09 reclama que o produto troca sozinho o modelo do agente para Auto ou para o Grok, e que escolher "último usado" foi a única forma que o autor achou de manter o modelo que ele queria.
é só ir nas configurações e desligar o Grok na lista de modelos/u/bobby-darkness
vai voltar a cada atualização do Cursor/u/anewidentity
/u/soulwatcher, que se apresenta como novo no produto, dá uma razão de custo para o roteamento, dizendo que os limites de uso do Grok, que é modelo de primeira parte na casa, são maiores que os dos modelos de terceiros. É relato de usuário, sem captura de tela e sem versão declarada, e nenhuma página oficial do Cursor foi aberta. O comportamento aparece pela terceira vez em três semanas (radar de 26/08 · radar de 28/08), e a novidade é a contramedida e a queixa de que ela não dura.
O autor do fio publicou em 15/09 que treinou do zero um modelo de 44 milhões de parâmetros em 45 bilhões de tokens, com arquivo de 19,8 MB, pesos ternários e um circuito fixo que preenche o resultado da conta dentro do próprio fluxo de texto, sem chamar ferramenta externa, rodando a cerca de 1.900 tokens por segundo em processador de laptop. Todos esses números são dele, e o repositório não foi localizado nesta rodada.
A checagem apareceu ali dentro: /u/pm_me_your_pay_slips colou o teste que fez na demonstração, pedindo uma piada sobre burros na Colômbia e outra sobre macacos na China, e recebeu "por que o computador foi ao médico? Porque ele estava com um vírus" nas duas, a 2 tokens por segundo, num celular. Resposta idêntica para perguntas diferentes é sinal de decoração do dado de treino.
O autor respondeu rodando o mesmo par de perguntas no laptop dele, onde a segunda saiu diferente, a 1.889 tokens por segundo, e escreveu que a decodificação usada é determinística, então a divergência aponta para um modo de execução que ele não testou. Ninguém verificou nenhuma das duas execuções.