← todas as ediçõesradar.personalgenius.com.br
Radar IA · edição diária · Personal Genius

O mesmo modelo, de trinta por cento a cem: o harness fez a diferença inteira.

sábado, 22 de agosto de 2026 · janela de 21/08 06h44 a 22/08 05h53

A NVIDIA relata que um sistema construído por ela em cima do Claude Opus 5 completou os 183 níveis do conjunto público do ARC-AGI-3. O mesmo modelo, medido sozinho pelo ARC Prize, faz 30,16%. O resultado cobre apenas o conjunto público, e a própria empresa avisa que a comparação com o líder anterior está longe de um experimento controlado.

Manchete

A NVIDIA publicou em 21/08 que o AVO, o sistema de agente que ela montou em cima do Claude Opus 5, completou os 183 níveis dos 25 ambientes públicos do ARC-AGI-3 e marcou 100,00 na métrica de eficiência do teste. O mesmo Opus 5, medido sozinho pelo ARC Prize no mesmo conjunto público, faz 30,16%. O modelo é idêntico nos dois números, então a diferença inteira mora no harness, o conjunto de prompts, ferramentas, memória e código em volta do modelo.

O ARC-AGI-3 mede raciocínio interativo: o agente entra em ambientes que funcionam como jogos, descobre sozinho qual é o objetivo e como se joga, e a nota olha quantas ações ele gastou em relação ao que uma pessoa gastaria. A NVIDIA declara duas limitações no próprio post. A primeira é de escopo: os resultados cobrem o conjunto público, fora o semiprivado e o privado da competição. A segunda é de comparação: o AVO gastou 6.624 ações contra as 7.542 do VISTA, o sistema que estava no topo, rodando com o mesmo modelo base nos mesmos 183 níveis, o que dá 12,2% de ações a menos para o AVO. Os autores avisam que os dois sistemas diferem em backend, representação de observação, memória e gestão de contexto, e que isso impede ler a diferença como ablação controlada.

O post que trouxe esse resultado foi o mais votado do r/singularity, e a taxonomia congelada o arquiva em benchmark/eval, que fechou o dia em 2,9% dos títulos do painel de quinze fóruns. Agentes e orquestração ficou em 12,2% e skills e harness em 3,6%, ambos nesse mesmo painel.

Item 1NVIDIA AVO: 100,00 de eficiência no conjunto público do ARC-AGI-3, com o mesmo modelo que sozinho faz 30,16%

FatoEm post técnico de 21/08, a NVIDIA apresenta o AVO (Agentic Variation Operators) como agente de programação de propósito geral para tarefas longas e reporta 100,00 de RHAE (Relative Human Action Efficiency, a eficiência de ação relativa à humana) nos 25 ambientes e 183 níveis do conjunto público do ARC-AGI-3, usando 6.624 ações. O modelo base é o Claude Opus 5, com um subconjunto também testado no GPT-5.6 Sol.

A referência do mesmo modelo sem esse sistema em volta está publicada na página de resultados do ARC Prize: 30,16% para o Opus 5 em esforço de raciocínio alto, avaliado só nesse nível por causa da janela curta de teste. A comparação com o VISTA aparece no post com o alerta de que não é ablação controlada.

Leitura: o salto é de sistema, e ninguém de fora reproduziu. A régua do ARC Prize separa conjunto público de conjunto de competição justamente porque conjunto público tende a ser otimizado com o tempo, e o item 2 desta edição mede esse efeito em outro campo. Um comentarista do r/singularity acrescentou que o conjunto privado não aceita harness montado por fora, o que explicaria a ausência do número lá. A NVIDIA afirma apenas que não mediu nesses conjuntos.

FONTE · developer.nvidia.com, post lido · arcprize.org/results/anthropic-claude-opus-5, página conferida

Item 2Onze modelos abertos de reconhecimento de fala dão sinal de reconhecer o benchmark antes de transcrever o áudio

FatoO blog do Hugging Face publicou em 21/08 um estudo com 11 modelos abertos de reconhecimento de fala (entre eles Whisper-large-v3, Parakeet da NVIDIA e Qwen3-ASR) em cima do VoxPopuli e do LibriSpeech. Em uma das provas, 6 dos 11 reproduziram um erro conhecido da transcrição de referência do VoxPopuli, omitindo "Thank you, Mr. President" mesmo quando o áudio continha a frase.

As outras duas provas vão na mesma direção. Silenciando números dentro do áudio do LibriSpeech, os modelos de melhor desempenho recuperaram o número apagado em 30% a 40% dos exemplos, sem que existisse informação acústica para isso. E quando o teste era escolher a convenção ortográfica de cada base ("Mr." contra "Mister"), o acerto passou dos 50% de uma escolha aleatória, o que indica que o modelo identifica de qual base aquele áudio veio.

Leitura: a taxa de recuperação foi maior nos benchmarks públicos e menor em áudio retido ou recém-coletado, e os modelos com menor taxa de erro de palavra foram os mais propensos a repetir a referência errada. A taxa de erro de palavra medida em LibriSpeech é o número que o mercado usa para ordenar transcritores, e essa correlação sugere que parte da vantagem dos primeiros colocados vem de reconhecer a base. A recomendação dos autores é conjunto retido e separação de teste por metadado.

Item 3Estudo de campo lê o AGENTS.md dos 100 repositórios mais estrelados que têm um: 90% escrevem em must, always e never

FatoPublicado em 21/08, um levantamento enumerou os 1.000 repositórios públicos mais estrelados do GitHub e checou quais têm AGENTS.md na raiz. 273 têm, ou 27%. Os 100 mais estrelados desse recorte formaram a amostra, entre 64 mil e 387 mil estrelas cada, somando 11,4 milhões. Os arquivos foram baixados em 21/08.

O AGENTS.md é o arquivo em que o repositório escreve as instruções que quer que um agente de programação siga. O perfil medido: mediana de cerca de 1.200 palavras em torno de 14 títulos de seção; os assuntos mais frequentes são teste (22 repositórios), comandos (14), visão geral do projeto (13), arquitetura (11) e fluxo de desenvolvimento (10). 90% dos arquivos usam linguagem imperativa e o conjunto acumula 784 regras explícitas de "não faça". O menor arquivo relevante é o do Neovim, com 35 palavras e uma regra só: se houve IA em qualquer parte de um commit, acrescentar o rastro AI-assisted: <nome da ferramenta> na mensagem.

Leitura: a classificação é por expressão regular, e o próprio autor avisa que isso adiciona ruído de alguns pontos em cada percentual, preservando a ordem. O tom sobrevive a esse ruído, e a explicação mais votada no fórum foi que essas regras se escrevem depois do estrago.

As pessoas escrevem esses arquivos depois que o agente estraga alguma coisa, então elas basicamente documentam trauma passado./u/Inevitable-Guest4262 · tradução nossa

Outro assinante, /u/turboblahblah, propôs trocar cada linha de proibição por um linter, mandando o agente rodar todos depois de cada alteração e consertar as falhas, o que gastaria menos token e daria resultado determinístico.

FONTE · coldtea.ai/blog/agents-md-field-study, estudo aberto e lido · fio em r/AI_Agents

Item 4DeepMind fecha pesquisa dentro do EVE Online e nomeia memória além da janela de contexto como o problema

FatoEm 21/08 a Google DeepMind publicou um balanço de 15 anos de pesquisa em jogos e anunciou os termos da parceria com a Fenris Creations, estúdio do EVE Online, jogo online de universo persistente no ar desde 2003, com economia movida por jogadores e milhares de sistemas estelares num único servidor compartilhado.

O post lista quatro capacidades que esse mundo exige e que a empresa declara essenciais para a fronteira: aprendizado contínuo (adquirir habilidade nova sem perder a antiga), memória que acumula e recupera em escalas de tempo muito além das janelas de contexto atuais, planejamento de horizonte longo por semanas, meses ou até anos, e dinâmica multiagente com cooperação, competição, negociação, economia e comportamento social emergente em escala. O agente citado é o SIMA 2, que joga vendo a tela e usando teclado e mouse, dispensando acesso a API e ao código do jogo.

Hilmar Pétursson, presidente da Fenris Creations, resume o que o estúdio espera da parceria.

Estamos entrando em território não mapeado, onde a IA precisa aprender, se adaptar e lembrar em escalas de tempo que nenhum outro ambiente de jogo exige.Hilmar Pétursson · tradução nossa

Leitura: o texto não traz benchmark, nota nem prazo. Serve para prever onde a empresa vai gastar pesquisa, numa casa que historicamente usou jogo como banco de provas, e a lista que ela escolheu publicar cai em cima da camada que os benchmarks de memória vinham reprovando esta semana.

FONTE · deepmind.google/blog, post lido

Item 5Medição em 9 modelos: encurtar a resposta economiza, encurtar o prompt de entrada chega a custar 96% mais

FatoUm grupo publicou no r/MachineLearning o resumo de um artigo que testou os dois jeitos de pedir brevidade a um modelo: cortar o prompt de entrada e mandar a saída ser curta. Foram 9 modelos (GPT-4o, GPT-5.4, Claude Haiku 4.5, Claude Sonnet 4.6, Qwen2.5-VL-7B, Qwen3.5-9B, DeepSeek-R1-Distill, Gemma-4-E4B e Kimi-K2.6), cinco bases de resposta curta, cinco níveis de redução, uma rodada em onze idiomas e um teste de sumarização longa.

Os dois canais deram resultados opostos. Encurtar a saída saiu cerca de 1,5x mais barato em média e até 3x no melhor caso nos modelos de API, com acerto praticamente estável, e o efeito se manteve entre idiomas. Encurtar o prompt de entrada custou até 96% mais na pior base, porque o modelo alonga a resposta para cobrir o que foi cortado, e o acerto cai.

Leitura: os autores resumiram o próprio artigo num post de fórum, e o artigo ainda não foi conferido linha a linha; eles apontam como gancho o estilo de saída concisa que o Claude Code passou a oferecer. A mecânica por trás aparece em qualquer tabela pública de preço, onde token de saída custa mais que token de entrada, e qualquer pessoa consegue repetir o teste com o próprio orçamento. Um comentarista pediu a análise que falta, que é caracterizar o que sobrevive ao encurtamento.

FONTE · r/MachineLearning, post e comentários lidos

Item 6Apache Maka entra na incubadora com log append-only de decisão de permissão, e as coleções de skill seguem subindo

FatoO índice diário do GitHub trouxe hoje 16 repositórios, 9 deles inéditos nas edições desta semana. O apache/maka entrou em incubação na Apache Software Foundation sob licença Apache 2.0, com 2,1 mil estrelas e 148 no dia, e se descreve como ambiente local de trabalho para agente de IA. Ele grava num log de eventos append-only as mensagens do modelo, as chamadas de ferramenta, os resultados, as decisões de permissão e os eventos de encerramento, e trata esse log como a autoridade da execução.

No mesmo índice, mattpocock/skills fez +3.362 estrelas no dia (contra +2.192 ontem) e obra/superpowers +790 (contra +727), num total acumulado de 230 mil e 276 mil. Entraram também dois repositórios de sistema em volta do agente: affaan-m/ECC, anunciado como otimizador de desempenho de harness com skills, memória e segurança, e ruvnet/ruflo, anunciado como meta-harness de enxames de agentes.

Leitura: estrela mede atenção, e nenhum desses números mede adoção. A governança separa o Maka dos vizinhos, porque incubação na Apache impõe processo de licença, marca e decisão pública. Auditar decisão de permissão é a peça que a semana inteira vinha pedindo em pesquisa, e agora existe um projeto de fundação gravando isso em formato de log.

FONTE · github.com/trending, modo delta contra 16 a 21/08 · github.com/apache/maka, página lida

Item 7Um motor em C99 diz rodar o modelo de 284 bilhões de parâmetros do DeepSeek num laptop de 3,2 GB de RAM

FatoTrês lançamentos independentes do mesmo tema apareceram nos fóruns na janela de hoje. A DeepSeek liberou o DeepSeek-V4-Flash-Vision-Exp na plataforma de API dela, modelo multimodal experimental que a empresa diz igualar o V4-Flash nas capacidades de texto, incluindo agentes, raciocínio e conhecimento de mundo, e aproximar o desempenho de agente multimodal do Opus-4.8, com imagem cobrada em até 384 tokens cada.

No r/OpenSourceAI, /u/FastPresence9799 publicou um motor de inferência escrito em C99 puro, licença Apache 2.0, que transmite os pesos direto do NVMe em vez de carregar o checkpoint inteiro na memória. Com isso ele diz rodar o modelo de 284 bilhões de parâmetros do DeepSeek-V4 num laptop com 3,2 GB de RAM; a marca de 1,6 a 1,7 segundo por token é de outra configuração, com 16 GB de orçamento e descarga em GPU. A saída bate com a do PyTorch a menos de 2,9e-6. No r/MachineLearning, /u/Final-Data-1410 descreveu um modelo de 250 milhões de parâmetros treinado do zero em 30 bilhões de tokens, quantizado abaixo de 2 bits, que ocupa 60 MB e roda a cerca de 400 tokens por segundo em CPU de laptop. O histórico antigo desse modelo é comprimido a 1 bit e gravado em disco, a cerca de 320 bytes por token, e ele foi treinado para buscar nesse arquivo em até 100 milhões de tokens.

Leitura: os dois últimos vêm com código publicado e sem verificação de terceiro, e o autor do modelo de 250 milhões declara sozinho o limite do que treinou, porque o orçamento cobriu a busca no arquivo em disco e parou antes do raciocínio sobre o que a busca devolve. O lançamento da DeepSeek é anúncio de fabricante sem avaliação externa.

FONTE · r/OpenSourceAI · r/MachineLearning · r/LocalLLaMA, posts e comentários lidos

Item 8 · medição de 08/08, publicada em 20/08A busca do ChatGPT passou a usar o operador site: em escala: de 0,3% para 16% das consultas rastreadas

FatoO serviço de rastreamento Promptwatch mediu a fatia de consultas da busca do ChatGPT que carregam o operador site:, que restringe a busca a um domínio. A fatia oscilou entre 0,3% e 0,5% durante semanas, caiu para 0,15% entre 3 e 5 de agosto e saltou para 16% a 17% em 8 de agosto. A data coincide com o anúncio da OpenAI, em 6 de agosto, de que o GPT-5.6 Sol no chat ficaria mais confiável com fatos e daria respostas mais focadas.

Simon Willison, que publicou a nota em 20/08, coloca duas ressalvas. A medição cobre apenas os prompts que o serviço rastreia de forma automatizada. E ele se diz limitado pela decisão da OpenAI de "obscurecer ativamente" os prompts de sistema, palavras dele, o que impede confirmar o mecanismo por dentro. O mesmo serviço reportou em 18/08 uma queda na probabilidade de o Reddit aparecer nas buscas do produto, que Willison não conseguiu verificar de forma independente.

Leitura: é medição indireta de terceiro sobre comportamento fechado, com amostra que a própria fonte não caracteriza. Serve como sinal de que a camada de recuperação do produto mudou de estratégia em agosto, num intervalo em que a OpenAI mexeu no modelo que atende o chat.

FONTE · simonwillison.net, nota lida

ComunidadeO que a comunidade discutiu

"The open weights gap basically closed while everyone was still arguing about OpenAI vs Anthropic"

r/LLMDevs · post de /u/Mysterious-Bison3735 · fio · 12 comentários lidos

O argumento do post é que a diferença deixou de aparecer em ranking e passou a aparecer em produto: o Composer do Cursor roda em um modelo chinês de pesos abertos, o Airbnb declarou uso intenso de Qwen, e o GLM está embutido em boa parte das ferramentas de programação. O autor cita o índice da Artificial Analysis com GLM-5.3 em 60, empatado com o Kimi K3 usando um quarto dos parâmetros, contra 63 do melhor fechado. Ele mesmo desconta o número em seguida, lembrando que é rodada controlada, e registra o custo: o modelo consome cerca de um quinto mais tokens por tarefa que a geração anterior.

Não é sobre laboratório escolher a própria avaliação, quando você olha avaliação de terceiro. O problema é que as avaliações não medem as coisas certas./u/PhilosophyforOne · tradução nossa
Quando os modelos que dá para baixar ficam a poucos pontos dos fechados, o que continua sem ser portátil na troca de pesos é o scaffolding. Skills, hooks, arquivos de memória, os pedacinhos de harness que você ajustou para um fornecedor. O gap de capacidade fechou. O custo de migração só subiu uma camada./u/eddzsh · tradução nossa

Um terceiro comentarista apontou que a lista citada omite modelos relevantes, incluindo um Qwen 3.8 de 27 bilhões de parâmetros que ele diz pontuar 52.

"Having unlimited tokens is wild"

r/ClaudeAI · post de /u/WeirdPutrid3849 · fio · mais de 200 comentários

O post relata trabalhar com orçamento de tokens praticamente ilimitado e tocar 8 a 10 projetos ao mesmo tempo, e pergunta quem mais tem acesso a algo assim. O resumo automático que o próprio fórum gera depois de 200 comentários registra que a discussão rejeitou o relato e o tratou como peça de marketing para normalizar consumo alto de tokens.

Certo. E o que foi que você construiu com tudo isso?/u/eliquy · tradução nossa
Escrever código nunca foi o gargalo de verdade./u/redblack_tree · tradução nossa

O fio dialoga com os autorrelatos de produtividade que a semana acumulou no ledger, incluindo o estudo de caso de cliente publicado anteontem pela OpenAI, em que a economia de horas foi estimada pela própria equipe. Os comentários mais votados aqui pedem para ver o que foi construído, que é justamente o que aquele gênero de texto não mostra. Dois comentários não fazem opinião de comunidade, e a contagem do dia não mede esse assunto.

"Has anyone else seen Cursor's premium model quota disappear much faster since August?"

r/cursor · post de /u/papasj8 · fio · 4 comentários lidos, mais um fio vizinho com 11

O autor descreve consumir a cota mensal inteira de modelo premium sem ter mudado o fluxo de trabalho, usando principalmente o modo automático. A resposta mais votada dá uma causa concreta e verificável pelo próprio usuário.

A cobrança do modo automático mudou. Não é mais taxa fixa, você é cobrado de acordo com o modelo para o qual ele roteou./u/ProfessionalTotal238 · tradução nossa

No fio vizinho, a queixa era que a atualização mais recente dificultou trocar de modelo e passou a cair no Grok 4.6 por padrão. Outro assinante respondeu com captura de tela mostrando onde a opção continua, e o autor do post aceitou a correção mantendo a crítica ao atrito adicional. Os dois fios são relato de usuário, e a Cursor não se manifestou em nenhum deles.