ВИКОРИСТАННЯ МЕРЕЖ ДОВГОТРИВАЛОЇ ПАМ’ЯТІ ДЛЯ ОБРОБКИ ПРИРОДНОЇ МОВИ
DOI:
https://doi.org/10.20998/2079-0023.2023.01.14Ключові слова:
обробка природної мови, нейронна мережа, природна мова, мережі довготривалої пам’яті, текстова класифікація, емоційний аналіз текстуАнотація
Проблема класифікації емоцій є складним та нетривіальним завданням інтерпретації мови через структуру природної мови та її динамічний характер. Актуальність дослідження полягає в охопленні важливої проблеми автоматичної обробки відгуків клієнтів, збирання думок та виявлення тенденцій. У цій роботі розглянуто ряд існуючих рішень для проблеми класифікації емоцій, де продемонстровано їхні недоліки та переваги. Оцінка продуктивності розглянутих моделей була проведена на класифікації емоцій чотирьох класів: Happy, Sad, Angry та Other. У цій роботі запропоновано модель для класифікації емоцій в трирядкових розмовах. Модель базується на емодзі та представленнях слів зі специфікою області сучасних розмов в Інтернеті. Досліджується важливість врахування інформації, отриманої зі емодзі як додаткового джерела даних з емоційним забарвленням. Оцінено продуктивність моделі та порівняно її з мовною моделлю BERT (Bidirectional Encoder Representations from Transformers) для класифікації емоцій. Запропонована модель показала кращу продуктивність у класифікації емоцій порівняно з BERT (з F1-оцінкою 78 порівняно з 75). Слід зазначити, що потрібні додаткові дослідження для поліпшення обробки моделлю змішаних відгуків, що представлені класом емоцій "Other". Однак, сучасна продуктивність моделей для представлення та розуміння природної мови не досягла рівня людини. Є різноманітні фактори, які необхідно враховувати при виборі представлень слів та методів навчання для проектування архітектури моделі.
Посилання
Graves A., Schmidhuber J. Framewise phoneme classification with bidirectional LSTM and other neural network architectures. Neural Networks. 2005, vol.18(5), pp.602–610.
Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research. 2014, vol. 15, pp. 1929–1958.
Daniiel Y., Onyshchenko K. Implementation of Recursive Deep Learning Algorithms for Natural Language Processing. Information Systems and Technologies 2021. Kharkiv-Odesa, 2021, pp. 141–145.
Afanasieva I., Golian N., Hnatenko O., Daniiel Y., Onyshchenko K. Data exchange model in the internet of things concept. Telecommunications and Radio Engineering. 2019, vol. 78(10), pp. 869–878.
Collobert R., Weston J., Bottou L., Karlen M., Kavukcuoglu K., Kuksa P. Natural language processing (almost) from scratch. CoRR, 2011, pp. 201–244.
Joulin A., Grave E., Bojanowski P., Mikolov T. Bag of tricks for efficient text classification. CoRR, 2016, pp. 11–32.
Otter D.W., Medina J.R., Kalita J.K. A survey of the usages of deep learning in natural language processing. CoRR, 2018, pp. 112–123.
Allen J. Natural Language Understanding. 2nd ed. Benjamin-Cummings Publishing Co., Inc. Redwood City, CA, USA, 1995. 512 p.
Gupta U., Chatterjee A., Srikanth R., Agrawal P. A sentiment-and-semantics-based approach for emotion detection in textual conversations. In neu-ir: the SIGIR 2017 workshop on neural information retrieval. 2017, pp. 21–28.
Jurafsky D., Martin J.H. Speech and language processing: an introduction to natural language processing, computational linguistics, and speech recognition. Upper Saddle River, NJ, USA, Prentice Hall PTR, 2000. 1044 p.
Christopher M., Schütze H. Foundations of Statistical Natural Language Processing. MIT Press, Cambridge. MA, USA, 1999. 718 p.
Yao L., Guan Y. An Improved LSTM Structure for Natural Language Processing, 2018 IEEE International Conference of Safety Produce Informatization (IICSPI). Chongqing, China. 2018, pp. 565–569.
Korti S. S., Kanakaraddi, S. G. Depression detection from Twitter posts using NLP and Machine learning techniques, 2022 Fourth International Conference on Emerging Research in Electronics, Computer Science and Technology (ICERECT). Mandya, India. 2022, pp. 1–6.
Sharma D., Dhiman C., Kumar D. Automated Image Caption Generation Framework using Adaptive Attention and Bi-LSTM, IEEE Delhi Section Conference (DELCON). New Delhi, India, 2022, pp. 1–5.
Aziz A. A., Diamal E. C., Ilyas R. Paraphrase Detection Using Manhattan's Recurrent Neural Networks and Long Short-Term Memory, 6th International Conference on Electrical Engineering, Computer Science and Informatics (EECSI), Bandung, Indonesia. 2019, pp. 432–437.
Yang H., Feng Y. Authoritative Prediction of Website Based on Deep Learning. IEEE Fourth International Conference on Big Data Computing Service and Applications (BigDataService). Bamberg, Germany, 2018, pp. 208–212.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
