O AnTuTu é um dos testes mais conhecidos do mundo e agora ele criou um benchmark que testa inteligência artificial dos smartphones. Veja como ele deve funcionar.
AnTuTu lança ferramenta de benchmark que testa inteligência artificial dos smartphones
Nos últimos anos, mais e mais empresas se concentram na IA (Inteligência Artificial) como um meio de distinguir seu produto da concorrência. Os usos da IA variam desde a compreensão de comandos de voz até o reconhecimento de cenários para a execução de ordens diretas, tornando comandos e a execução de tarefas mais fácil e natural. Por causa de sua popularidade explosiva, a IA é agora amplamente usada como uma palavra de ordem, e já estava na hora de medir o quanto um equipamento pode ser inteligente.
O AnTuTu, conhecido por seu popular aplicativo de benchmarking, decidiu assumir o compromisso de medir a eficiência de AI dos smartphones.
Para definir os padrões de medição, o AnTuTu trabalhou com fabricantes de chips para lançar um aplicativo de benchmarking chamado “AI Review”, que se concentra na medição do desempenho de IA dos smartphones.
A postagem no blog do AnTuTu para do AI Review começa apontando as dificuldades em medir algo tão vasto quanto a Inteligência Artificial. Atualmente, no segmento de smartphones, não existe nenhum padrão unificado para AI, que por sua vez levou a uma situação em que cada fabricante de chips tem seu próprio entendimento e implementação de AI. A Qualcomm lida com algumas operações de IA através do Hexagon DSP; O HiSilicon da Huawei lida com um NPU independente; A Samsung e a MediaTek também lidam com operações de IA através de chips dedicados, denominados NPU e APU, respectivamente. Essa situação é ainda mais complicada pela sinergia entre hardware e software, que é crucial para o desempenho eficaz da IA. Cada fornecedor fornece seu próprio SDK para IA – a Qualcomm tem SNPE, a MediaTek tem o NeuroPilot, o HiSilicon tem o HiAI e assim por diante.
O AnTuTu AI Review é dividido em duas subcategorias
- Classificação de Imagem e;
- Reconhecimento de Objetos.
O teste de Classificação analisa dados de teste compostos de 200 imagens e é baseado na rede neural Inception v3, enquanto o teste de Reconhecimento de Objetos revisa um vídeo de 600 quadros e é baseado na rede neural SSD da MobileNet. Essas redes neurais são então traduzidas para a rede neural que é suportada pelo fabricante por meio do SDK fornecido pelo fornecedor. Se o chip não suportar algoritmos relacionados à IA, o aplicativo de benchmark usa o TFLite para benchmarking, cujos resultados, eles próprios, advertem como sendo insatisfatórios e não confiáveis.
A pontuação de referência está diretamente relacionada à velocidade e precisão.
Se a precisão for trocada por velocidade, a AnTuTu atribui penalidades à pontuação. Isso desencorajaria a trapaça de benchmark da AI que teria confiado em simplesmente fornecer resultados rápidos, mas errados.
AnTuTu também estabeleceu algumas observações especiais para o uso de seu aplicativo. Plataformas que usam o mesmo processador AI provavelmente não terão grandes lacunas de pontuação, já que o benchmark não testa simplesmente o desempenho, mas se concentra no desempenho da IA. A Samsung ainda não lançou seu AI SDK, e o HiSilicon está utilizando o TFLite para certas funções, o que significa que suas pontuações serão baixas até que essas situações sejam melhoradas. A versão de base do Android também terá um efeito sobre a pontuação, pois o próprio Google vem otimizando o suporte da AI no nível do sistema.
Mesmo a partir do próprio post do AnTuTu, fica claro que o objetivo de medir o desempenho baseado em IA pode não ser possível simplesmente resumindo-o a um número. Há muitas variáveis envolvidas na computação baseada em IA, que está adicionando outra camada de complexidade à interação já difícil de entender entre diferentes soluções de hardware e software. A pontuação numérica singular que resultaria de uma atividade de benchmarking não faria justiça às nuances envolvidas no mundo da IA. Então, enquanto você pode olhar para a sua pontuação e sentir-se monetariamente orgulhoso, saiba que ainda estamos nos estágios relativamente iniciais da IA, e ainda mais, no benchmarking da IA.
Para baixar o AI Review clique no botão abaixo:
