Comparação de ferramentas de análise cognitiva na classificação de gênero e estimativa de idade de imagens faciais da base de dados 10K Adult Faces

Abstract

RESUMO: O objetivo do trabalho foi comparar a assertividade das respostas das aplicações de análise cognitiva de grande empresas, IBM Watson, Amazon Rekognition e Microsoft Azure Cognitive Services, quanto estimativa de idade aparente e classificação de gênero aparente. A base de dados utilizada foi a 10k US Adult Faces Database, que possui informações de 2.222 imagens coloridas contendo apenas um única face frontal, podendo estar ligeiramente virada para a esquerda ou direita. As informações anotadas da base de dados incluem informações, tais como: nível de atratividade, presença de maquiagem, presença de pelos faciais, emoção da face, raça, direção dos olhos e da face, gênero aparente, faixa de idade. Cada imagem é enviada aos três sistemas e coletam-se duas informações: gênero e idade. Para a classificação de gênero, considerando as anotações da base de dados, a ferramenta Microsoft Azure apresentou uma quantidade menor de erros (5 erros), seguido do Amazon Rekognition (66 erros) e depois do IBM Watson (85 erros). As ferramentas Amazon Rekognition e IBM Watson retornam uma faixa de idade, enquanto a ferramenta Microsoft Azure retorna um valor único. Na comparação de idade, as ferramentas IBM Watson e Microsoft Azure concentram melhor seus resultados de idade em suas faixas etárias correspondentes, enquanto o Amazon Rekognition apresenta uma faixa de valores muito ampla e de difícil comparação, por vezes, apresentando 30 anos de diferença entre as idades mínima e máxima. O intervalo da faixa de idades do IBM Watson é menor que o do Amazon Rekognition. Adicionalmente, foram feitas análises de correlação dos resultados preditos pelas ferramentas com os outros atributos anotados na base de dados. Não foi identificado padrão de correlação nesse estudo de atributos versus resposta dos sistemas. As correlações encontradas possuem muito mais associação com o gênero do que especificamente com o comportamento da aplicação, tal como o fato de que mulheres possuem correlação forte com maquiagem assim como homens possuem uma forte correlação com presença de pelos na face. Apenas uma correlação, porém fraca, foi identificada entre a idade resposta de todas as aplicações e a atratividade da pessoa. A atratividade é medida em um intervalo de inteiros entre 1 e 5 (considerando o gradiente onde o número 1 representaria uma pessoa não atrativa e 5 uma pessoa atrativa). Para pessoas de alta atratividade (5), menor é a idade predita.

ABSTRACT: The main goal of this work was to compare the assertiveness of responses from cognitive analysis applications from large companies, IBM Watson, Amazon Rekognition and Microsoft Azure Cognitive Services, regarding apparent age estimate and apparent gender classification. The database used was the 10k US Adult Faces Database, which has information on 2,222 color images containing only a single frontal face, which may be slightly turned to the left or right. The information annotated from the database includes information such as: attractiveness level, presence of makeup, presence of facial hair, facial emotion, race, direction of eyes and face, gender, age range. Each image is sent to the three systems and two pieces of information are collected: gender and age. For gender classification, considering the database annotations, the Microsoft Azure tool presented a smaller amount of errors (5 errors), followed by Amazon Rekognition (66 errors) and then IBM Watson (85 errors). The Amazon Rekognition and IBM Watson tools return an age interval, while the Microsoft Azure tool returns a single value. In age comparison, IBM Watson and Microsoft Azure tools better focus their age results on their corresponding age groups, while Amazon Rekognition presents a very wide and difficult to compare range of values, sometimes 30 years apart between the minimum and maximum ages. IBM Watson’s age range range is smaller than Amazon Rekognition’s. Additionally, correlation analyzes of the results predicted by the tools with the other attributes annotated in the database were performed. No pattern of correlation was identified in this study of attributes versus system response. The correlations found have much more association with gender than specifically with application behavior, such as the fact that women have a strong correlation with makeup as well as men have a strong correlation with the presence of facial hair. Only one correlation, however weak, was identified between the response age of all applications and the person’s attractiveness. Attractiveness is measured in a range of integers between 1 and 5 (considering the gradient where the number 1 would represent an unattractive person and 5 an attractive person). For people of high attractiveness (5), younger is the predicted age.