Manipulação de 20% a 50% pela Samsung no Galaxy Note 3 faz Ars Technica repensar uso de benchmarks em aparelhos Android
Não é a primeira vez que a Samsung aplica o "jeitinho coreano" aos seus aparelhos para inflar resultados de benchmarks: com uma das edições do Galaxy S4 ela já havia feito o mesmo. Mas na ocasião a empresa declarou que na verdade ele acelerava a CPU em operações realizadas pelos benchmarks, como manipulação de gráficos, e não propriamente em benchmarks. Naquele momento, colou.
Mas agora, ao testar a edição do Galaxy Note 3 para os EUA, o Ars Technica estranhou que nos benchmarks todos os núcleos da CPU ficavam permanentemente em uso, sem o usual descanso/economia enquanto aguardam pelo início de uma operação, e desconfiou.
Encurtando a história, eles reempacotaram o mesmo benchmark, dando a ele outro nome, e os núcleos passaram a se comportar da forma normal, e o benchmark teve resultados 20% piores – alinhado aos resultados de outros aparelhos com o mesmo chipset.
Inspecionando e decodificando o sistema, os testadores do Ars encontraram o seguinte trecho crucial de código:
Basicamente, o que o trecho acima faz é listar os nomes de pacotes de vários benchmarks típicos, e instruir o sistema a se comportar de maneira especial (trocando eficiência energética e térmica por desempenho de processamento) quando esses testes estiverem rodando.
Além de ser feio, dificulta uma das maneiras usuais de comparação objetiva de desempenho com aparelhos concorrentes, como o Optimus G2 da LG (que tem o mesmo hardware básico mas não inclui o artifício acima), pois naturalmente falseia de maneira intencional os resultados dos testes de desempenho, a ponto de obter resultados 20% a 50% melhores do que quando o mesmo benchmark roda com algum outro nome não incluído no trecho acima.
Como a alteração ocorre no nível do sistema operacional e já é o segundo caso registrado (e existe supeita de um terceiro), o Ars Technica já está modificando a maneira como acompanha resultados de benchmarks de aparelhos com Android. E faz bem. (via arstechnica.com - “Note 3’s benchmarking “adjustments” inflate scores by up to 20% | Ars Technica”)
@brlinuxblog
Feed RSS
