МЕТОД МОЖЛИВІСНОГО ОЦІНЮВАННЯ ПОЯСНЕННЯ В СИСТЕМІ ШТУЧНОГО ІНТЕЛЕКТУ

Автор(и)

DOI:

https://doi.org/10.20998/2079-0023.2023.02.14

Ключові слова:

пояснення, оцінка пояснення, система штучного інтелекту, інтелектуальна система, зрозумілий штучний інтелект, асоціативна залежність, каузальна залежність, прецедент, інформаційна система, рекомендаційна система

Анотація

Предметом дослідження є процеси формування пояснень щодо рішення системи штучного інтелекту. Пояснення використовуються для того, щоб користувач зрозумів процес отримання результату і міг більш ефективно застосовувати інтелектуальну інформаційну систему для формування практично прийнятих для нього рішень. Мета роботи полягає у розробці методу оцінки пояснень з урахуванням відмінностей у вхідних даних  та відповідному рішенні системи штучного інтелекту. Вирішення цієї задачі дає можливість оцінити відповідність пояснення щодо внутрішньому механізму прийняття рішення в інтелектуальній інформаційній системі незалежно від рівня знань користувача щодо особливостей формування та використання такого рішення. Для досягнення мети вирішуються такі задачі: структуризація оцінки пояснень в залежності від рівня їх деталізації з урахуванням їх відповідності процесу прийняття рішення в інтелектуальній системі та рівню сприйняття користувача такої системи; розробка методу оцінки пояснень на основі їх відповідності процесу прийняття рішення в інтелектуальній системі. Висновки. Виконано структуризацію оцінки пояснень в залежності від рівня їх деталізації. Виділено рівні асоціативних залежностей, прецедентів, каузальних залежностей та інтерактивний, що визначають різний ступінь деталізації пояснень. Показано, що асоціативний та каузальний рівні деталізації пояснень можуть бути оцінені з використанням числових, ймовірнісних або можливісних показників. Прецедентний та інтерактивний рівні потребують суб’єктивної оцінки на основі опитування користувачів системи штучного інтелекту. Розроблено метод можливісного оцінювання відповідності пояснень процесу прийняття рішень в інтелектуальній системі з урахуванням залежностей між вхідними даними та рішенням інтелектуальної системи. Метод містить етапи оцінювання чутливості, коректності та складності пояснення на основі порівняння значень та кількості використаних у поясненні вхідних даних. Метод дає можливість комплексно оцінити пояснення з позицій стійкості до несуттєвих змін у вхідних даних, відповідності пояснення отриманому результату, а також складності обчислення пояснення. У аспекті практичного застосування метод дає можливість мінімізувати кількість вхідних змінних для пояснення при задоволенні обмеження на чутливість пояснення, що створює умови для більш ефективного формування тлумачення на основі використання підмножини ключових вхідних змінних, які мають суттєвий вплив на отримане в інтелектуальній системі рішення.

Біографії авторів

Сергій Чалий, Харківський національний університет радіоелектроніки

Предметом дослідження є процеси формування пояснень щодо рішення системи штучного інтелекту. Пояснення використовуються для того, щоб користувач зрозумів процес отримання результату і міг більш ефективно застосовувати інтелектуальну інформаційну систему для формування практично прийнятих для нього рішень. Мета роботи полягає у розробці методу оцінки пояснень з урахуванням відмінностей у вхідних даних  та відповідному рішенні системи штучного інтелекту. Вирішення цієї задачі дає можливість оцінити відповідність пояснення щодо внутрішньому механізму прийняття рішення в інтелектуальній інформаційній системі незалежно від рівня знань користувача щодо особливостей формування та використання такого рішення. Для досягнення мети вирішуються такі задачі: структуризація оцінки пояснень в залежності від рівня їх деталізації з урахуванням їх відповідності процесу прийняття рішення в інтелектуальній системі та рівню сприйняття користувача такої системи; розробка методу оцінки пояснень на основі їх відповідності процесу прийняття рішення в інтелектуальній системі. Висновки. Виконано структуризацію оцінки пояснень в залежності від рівня їх деталізації. Виділено рівні асоціативних залежностей, прецедентів, каузальних залежностей та інтерактивний, що визначають різний ступінь деталізації пояснень. Показано, що асоціативний та каузальний рівні деталізації пояснень можуть бути оцінені з використанням числових, ймовірнісних або можливісних показників. Прецедентний та інтерактивний рівні потребують суб’єктивної оцінки на основі опитування користувачів системи штучного інтелекту. Розроблено метод можливісного оцінювання відповідності пояснень процесу прийняття рішень в інтелектуальній системі з урахуванням залежностей між вхідними даними та рішенням інтелектуальної системи. Метод містить етапи оцінювання чутливості, коректності та складності пояснення на основі порівняння значень та кількості використаних у поясненні вхідних даних. Метод дає можливість комплексно оцінити пояснення з позицій стійкості до несуттєвих змін у вхідних даних, відповідності пояснення отриманому результату, а також складності обчислення пояснення. У аспекті практичного застосування метод дає можливість мінімізувати кількість вхідних змінних для пояснення при задоволенні обмеження на чутливість пояснення, що створює умови для більш ефективного формування тлумачення на основі використання підмножини ключових вхідних змінних, які мають суттєвий вплив на отримане в інтелектуальній системі рішення.

Володимир Лещинський, Харківський національний університет радіоелектроніки

кандидат технічних наук (PhD), доцент, Харківський національний університет радіоелектроніки, доцент кафедри програмної інженерії; м. Харків, Україна

Посилання

Engelbrecht Andries P. Computational Intelligence: An Introduction. NJ: John Wiley & Sons, 2007. 632 р.

Alonso J.M., Castiello C., Mencar C. A Bibliometric Analysis of the Explainable Artificial Intelligence Research Field. In: Medina, J., et al. Information Processing and Management of Uncertainty in Knowledge-Based Systems. Theory and Foundations. IPMU. Communications in Computer and Information Science. 2018, vol. 853, pp. 3–15.

Gunning D., Aha D. DARPA’s Explainable Artificial Intelligence (XAI) Program. AI Magazine. 2019, vol. 40 (2), pp. 44–58.

Tintarev N., Masthoff J. A survey of explanations in recommender systems. The 3rd international workshop on web personalisation, recommender systems and intelligent user interfaces (WPRSIUI'07). 2007, pp. 801–810.

Gilpin L. H., Bau D., Yuan B. Z., Bajwa A., Specter M., Kagal L. Explaining Explanations: An Overview of Interpretability of Machine Learning. arXiv:1806.00069. 2018.

Miller T. Explanation in artificial intelligence: Insights from the social sciences, Artificial. Intelligence. 2019, vol. 267, pp. 1–38.

Camburu O.M, Giunchiglia E., Foerster J., Lukasiewicz T., Blunsom P. Can I trust the explainer? Verifying post-hoc explanatory methods. 2019. arXiv:1910.02065.

Gunning D., Vorm E., Wang J., Turek M. Darpa's Explainableai (XAI). Program: a Retrospective. Applied AI Letters. 2021, vol. 2, no. 4. DOI: https://doi.org/10.1002/ail2.61.

Chalyi S., Leshchynskyi V. Temporal-oriented model of causal relationship for constructing explanations for decision-making process. Advanced Information Systems. 2022, no. 6 (3), pp. 60–65.

Chalyi S., Leshchynskyi V. Possible evaluation of the correctness of explanations to the end user in an artificial intelligence system. A.I.S. 2023, no. 7, pp.75–79.

Chalyi S, Leshchynskyi V. Probabilistic counterfactual causal model for a single input variable in explainability task. Advanced Information Systems. 2022, no. 7 (3), pp. 54–59. DOI: https://doi.org/10.20998/2522-9052.2023.3.08.

Chalyi S. Leshchynskyi V. Otsinka chutlyvosti poiasnen v intelektualnii informatsiinii systemi [Evaluation of the sensitivity of explanations in the intelligent information system]. Systemy upravlinnia, navihatsii ta zviazku. Zbirnyk naukovykh prats [Control, navigation and communication systems. Collection of scientific papers]. 2023, no. 2, pp. 165–169.

##submission.downloads##

Опубліковано

2023-12-19

Як цитувати

Чалий, С., & Лещинський, В. (2023). МЕТОД МОЖЛИВІСНОГО ОЦІНЮВАННЯ ПОЯСНЕННЯ В СИСТЕМІ ШТУЧНОГО ІНТЕЛЕКТУ. Вісник Національного технічного університету «ХПІ». Серія: Системний аналiз, управління та iнформацiйнi технологiї, (2 (10), 95–101. https://doi.org/10.20998/2079-0023.2023.02.14

Номер

Розділ

ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ