Benchmark IA Imagem gerada por Inteligência Artificial

Benchmarks de IA ganham acesso público

2 minutos de leitura

Com código aberto, a ferramenta da chinesa HongShan Capital Group testa modelos de inteligência artificial em tarefas do mundo real



Por Redação em 04/08/2025

A empresa chinesa de capital de risco HongShan Capital Group liberou o uso de um conjunto de testes para avaliar soluções baseadas em inteligência artificial. Também conhecidos como testes de benchmarking, eles agora podem ser usados por qualquer pessoa, mesmo sem conhecimentos técnicos avançados. 

No mercado de IA, os benchmarks são amplamente utilizados para avaliar a eficácia de suas ferramentas. A forma mais comum de divulgação desses dados envolve relatórios com gráficos, médias de avaliação e comparações do recurso analisado com tecnologias similares.

A inovação da empresa chinesa está na proposta do Xbench, segundo reportagem da Technology Review. Em vez de aplicar testes padronizados, a ferramenta analisa a execução de tarefas do cotidiano pelas ferramentas de IA. Nem todo o Xbench estará disponível, mas sim parte do conjunto de perguntas, em código aberto, sem cobrança para uso.

A equipe que desenvolveu o teste de inteligência também lançou uma tabela de classificação que compara os desempenhos dos principais modelos de IA testados. O resultado mostra que o ChatGPT ficou em primeiro lugar em todas as categorias. Outros modelos, como Doubao, Gemini 2.5 Pro, Grok (ByteDance) e Claude Sonnet, também obtiveram boas análises, de acordo com a revista do MIT.

Como o Xbench mede a inteligência 

Os métodos do Xbench para avaliar a inteligência bruta incluem dois componentes: Xbench-ScienceQA e Xbench-DeepResearch.

O ScienceQA não representa uma mudança radical em relação aos benchmarks existentes para pós-graduação e inclui questões que abrangem áreas como bioquímica e mecânica orbital, elaboradas por alunos e revisadas por professores. A pontuação recompensa não apenas a resposta correta, mas também a lógica utilizada para chegar até ela.

Já o DeepResearch mede a capacidade do modelo de navegar na web em chinês. Dez especialistas no assunto criaram cem perguntas sobre música, história, finanças e literatura. São questões que não podem ser respondidas apenas com uma busca online, mas exigem uma pesquisa significativa. A pontuação prioriza a amplitude das fontes, a consistência dos dados e a disposição do modelo em admitir quando não há informações suficientes para responder. 



Matérias relacionadas

Claro HackTown 2025 Inovação

Claro leva inovações em tecnologia e negócios ao HackTown 2025

Conectividade, segurança, formação profissional e economia criativa marcaram as sessões na Casa Conectada

agentes de IA Inovação

Agentes de IA superam fase de testes e redefinem operação das empresas

Estudo indica foco em produtividade e qualidade, mas revela desafios com preparo da liderança, regulação e capacitação da força de trabalho

NFC Inovação

Tecnologia por aproximação impulsiona crescimento das transações sem contato

Projeções indicam salto na bilhetagem digital e no uso de carteiras digitais independentes, o que reforça o papel do NFC na infraestrutura das cidades inteligentes

IA diferencial Inovação

IA deixa de ser diferencial e passa a ser pilar de desempenho empresarial

Estudo da Amcham Brasil mostra que a ferramenta será decisiva para as lideranças nos próximos anos

    Embratel agora é Claro empresas Saiba mais