ОГЛЯД МЕТОДІВ АВТОМАТИЧНОГО РОЗПІЗНАННЯ ЕМОЦІЙНОГО СТАНУ ЛЮДИНИ ПО ЗОБРАЖЕННЮ
DOI:
https://doi.org/10.20998/2079-0023.2020.01.15Ключові слова:
розпізнавання емоцій, класифікація, метод опорних точок, згорткова нейронна мережа, рекурентна нейронна мережа, навчальна вибіркаАнотація
Розглядається задача розпізнавання емоційного стану людини по зображенню. Наведено огляд основних способів опису людських емоцій: поділ на кінцеве число класів і використання векторного опису. Представлені існуючі розробки в області розпізнавання емоцій по зображенню, а також наведено загальний алгоритм роботи подібних систем. Основними етапами у рішенні задачі розпізнавання емоцій є пошук обличь на зображенні і класифікація емоції. Інформаційна технологія розпізнавання емоцій представлена у вигляді графічної нотації. Описано принципи роботи алгоритму Віоли-Джонса, який використовується для визначення особи людини на зображенні Представлені підходи, які застосовуються для вирішення задачі класифікації: алгоритм Віоли-Джонса, метод опорних точок, різні архітектури нейронних мереж, які призначені для класифікації зображень. Проаналізовано переваги та недоліки методу опорних точок, що базується на системі кодування лицьових рухів, а також спосіб застосування алгоритму Віоли-Джонса для класифікації емоцій. Розглянуто метод розпізнавання емоційного стану людини на основі візуальної інформації із застосуванням згорткових нейронних мереж. Описано принципи дії згорткових, субдискретизуючих і повнозв'язних шарів нейронної мережі. На основі аналізу опублікованих робіт наведені результати точності розпізнавання в різних умовах. Також представлені роботи, в яких для аналізу емоційного стану застосовується комбінація згорткових і рекурентних нейронних мереж, де крім візуальної інформації використовується додаткове джерело – аудіопотік, що дозволяє більш ефективно класифікувати емоції в відео. Представлені найбільш популярні навчальні вибірки даних для вирішення розглянутої задачі.Посилання
Tao J., Tan. T., Picard R. W. Affective Computing and Intelligent Interaction. First International Conference. Berlin, Springer-Verlag Publ., 2005, pp. 981–995.
Ekman P. Universals and cultural differences in the judgments of facial expressions of emotion. Journal of personality and social psychology. 1987, vol. 53, no. 4, pp. 712–714.
Russell J., Mehrabian A. Evidence for a three-factor theory of emotions. Journal of research in Personality. 1977, vol. 11, no. 3, pp. 273–294.
Khorrami P., Le Paine T., Brady K., Dagli C., Huang T. S. How Deep Neural Networks Can Improve Emotion Recognition on Video Data. 2016 IEEE International Conference on Image Processing (ICIP). Piscataway, IEEE Publ., 2016, pp. 619–623.
Vision AI. Available at: https://cloud.google.com/vision (accessed 10.03.2020).
Amazon Rekognition. Available at: https://aws.amazon.com/rekognition/ (accessed 11.03.2020).
Face API. Available at: https://azure.microsoft.com/enus/services/cognitive-services/face/ (accessed 09.03.2020).
Watson Tone Analyzer. Available at: https://www.ibm.com/watson/services/tone-analyzer/ (accessed 10.03.2020).
Haar A. Zur Theorie der orthogonalen. Funktionensysteme. Mathematische Annalen. 1910, b. 69, s. 331–371.
Viola P., Jones M. Robust Real-Time Face Detection. International Journal of Computer Vision. 2004, no. 57, pp. 137–154.
Lanitis A., Taylor C. J., Ahmed T., Cootes T. F. Classifying variable objects using a flexible shape model. Fifth International Conference on Image Processing and its Applications, Edinburgh, IET Publ., 1995, pp. 70–74.
LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-Based Learning Applied to Document Recognition Proceedings of the IEEE. 1998, vol. 86, no. 11, pp. 2278–2324.
Kahou S, Bouthillier X., Lamblin P. EmoNets: Multimodal deep learning approaches for emotion recognition in video. Journal on Multimodal User Interfaces. 2015, no. 10, pp. 99–111.
Challenges in Representation Learning: Facial Expression Recognition Challenge. Available at: https://www.kaggle.com/c/challenges-in-representation-learningfacial-expression-recognition-challenge/data (accessed 12.03.2020).
##submission.downloads##
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2020 Вісник Національного технічного університету «ХПІ». Серія: Системний аналiз, управління та iнформацiйнi технологiїАвтори, які публікуються у цьому журналі, погоджуються з наступними умовами:
- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
