DOI: https://doi.org/10.20998/2079-0023.2020.01.15

ОГЛЯД МЕТОДІВ АВТОМАТИЧНОГО РОЗПІЗНАННЯ ЕМОЦІЙНОГО СТАНУ ЛЮДИНИ ПО ЗОБРАЖЕННЮ

Artem Leonidovych Ulianko, Yuri Ivanovych Dorofieiev

Анотація


Розглядається задача розпізнавання емоційного стану людини по зображенню. Наведено огляд основних способів опису людських емоцій: поділ на кінцеве число класів і використання векторного опису. Представлені існуючі розробки в області розпізнавання емоцій по зображенню, а також наведено загальний алгоритм роботи подібних систем. Основними етапами у рішенні задачі розпізнавання емоцій є пошук обличь на зображенні і класифікація емоції. Інформаційна технологія розпізнавання емоцій представлена у вигляді графічної нотації. Описано принципи роботи алгоритму Віоли-Джонса, який використовується для визначення особи людини на зображенні Представлені підходи, які застосовуються для вирішення задачі класифікації: алгоритм Віоли-Джонса, метод опорних точок, різні архітектури нейронних мереж, які призначені для класифікації зображень. Проаналізовано переваги та недоліки методу опорних точок, що базується на системі кодування лицьових рухів, а також спосіб застосування алгоритму Віоли-Джонса для класифікації емоцій. Розглянуто метод розпізнавання емоційного стану людини на основі візуальної інформації із застосуванням згорткових нейронних мереж. Описано принципи дії згорткових, субдискретизуючих і повнозв'язних шарів нейронної мережі. На основі аналізу опублікованих робіт наведені результати точності розпізнавання в різних умовах. Також представлені роботи, в яких для аналізу емоційного стану застосовується комбінація згорткових і рекурентних нейронних мереж, де крім візуальної інформації використовується додаткове джерело – аудіопотік, що дозволяє більш ефективно класифікувати емоції в відео. Представлені найбільш популярні навчальні вибірки даних для вирішення розглянутої задачі.

Ключові слова


розпізнавання емоцій; класифікація; метод опорних точок; згорткова нейронна мережа; рекурентна нейронна мережа; навчальна вибірка

Повний текст:

PDF (Русский)

Посилання


Tao J., Tan. T., Picard R. W. Affective Computing and Intelligent Interaction. First International Conference. Berlin, Springer-Verlag Publ., 2005, pp. 981–995.

Ekman P. Universals and cultural differences in the judgments of facial expressions of emotion. Journal of personality and social psychology. 1987, vol. 53, no. 4, pp. 712–714.

Russell J., Mehrabian A. Evidence for a three-factor theory of emotions. Journal of research in Personality. 1977, vol. 11, no. 3, pp. 273–294.

Khorrami P., Le Paine T., Brady K., Dagli C., Huang T. S. How Deep Neural Networks Can Improve Emotion Recognition on Video Data. 2016 IEEE International Conference on Image Processing (ICIP). Piscataway, IEEE Publ., 2016, pp. 619–623.

Vision AI. Available at: https://cloud.google.com/vision (accessed 10.03.2020).

Amazon Rekognition. Available at: https://aws.amazon.com/rekognition/ (accessed 11.03.2020).

Face API. Available at: https://azure.microsoft.com/enus/services/cognitive-services/face/ (accessed 09.03.2020).

Watson Tone Analyzer. Available at: https://www.ibm.com/watson/services/tone-analyzer/ (accessed 10.03.2020).

Haar A. Zur Theorie der orthogonalen. Funktionensysteme. Mathematische Annalen. 1910, b. 69, s. 331–371.

Viola P., Jones M. Robust Real-Time Face Detection. International Journal of Computer Vision. 2004, no. 57, pp. 137–154.

Lanitis A., Taylor C. J., Ahmed T., Cootes T. F. Classifying variable objects using a flexible shape model. Fifth International Conference on Image Processing and its Applications, Edinburgh, IET Publ., 1995, pp. 70–74.

LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-Based Learning Applied to Document Recognition Proceedings of the IEEE. 1998, vol. 86, no. 11, pp. 2278–2324.

Kahou S, Bouthillier X., Lamblin P. EmoNets: Multimodal deep learning approaches for emotion recognition in video. Journal on Multimodal User Interfaces. 2015, no. 10, pp. 99–111.

Challenges in Representation Learning: Facial Expression Recognition Challenge. Available at: https://www.kaggle.com/c/challenges-in-representation-learningfacial-expression-recognition-challenge/data (accessed 12.03.2020).