Порівняльний аналіз SHAP, LIME та дерев рішень у задачах виявлення та інтерпретації мережевих вторгнень у фінансових мережах

Abstract

Цифрова трансформація фінансового сектору супроводжується зростанням кількості та складності кіберзагроз. Фінансові установи щоденно обробляють величезні обсяги мережевого трафіку, використовуючи методи машинного навчання для виявлення аномалій. Незважаючи на високу ефективність глибокого навчання у виявленні кіберзагроз, його застосування обмежується проблемою “чорної скрині” – неможливістю інтерпретувати причини прийняття моделлю того чи іншого рішення. Для фінансових установ, де кожне рішення про блокування має бути обґрунтованим та підлягати аудиту, відсутність прозорості є критичним недоліком. Це зумовлює необхідність дослідження методів пояснювального штучного інтелекту (XAI).

Метою дослідження є проведення порівняльного аналізу post-hoc методів XAI (SHAP, LIME) та ante-hoc інтерпретованої моделі (дерева рішень) для пояснення рішень глибоких нейромереж, а також для побудови альтернативних прозорих класифікаторів, навчених виявляти кіберзагрози. Завдання дослідження включають: навчання нейромереж на датасетах NSL-KDD та CIC-IDS-2017; застосування методів XAI; порівняння найважливіших ознак; аналіз помилок моделі; формулювання рекомендацій щодо вибору методу XAI.

Навчено дві нейромережі на датасетах NSL-KDD (41 ознака, 125973 зразки) та CIC-IDS-2017 (68 ознак, 225711 зразків). Модель NSL-KDD досягла Accuracy 0,772, Precision 0,973, Recall 0,616, AUC 0,870. Модель CIC-IDS-2017 показала значно вищі результати: Accuracy 0,9994, Precision 0,9995, Recall 0,9994, AUC 0,9997. SHAP-аналіз виявив, що для NSL-KDD найважливішими ознаками є logged_in (0,0534), dst_host_same_srv_rate (0,0452) та protocol_type (0,0373). Для CIC-IDS-2017 – ACK Flag Count (0,0539), Destination Port (0,0432) та Fwd Packet Length Mean (0,0267). LIME забезпечив локальні пояснення окремих передбачень. Дерева рішень як ante-hoc метод згенерували інтерпретовані правила “якщо-то”. SHAP забезпечує найбільш повну глобальну інтерпретацію моделі та рекомендується для загального аналізу ризиків. LIME є ефективним для локального пояснення окремих передбачень, що важливо при розслідуванні інцидентів, однак демонструє нестабільність. Дерева рішень генерують найбільш зрозумілі правила, але поступаються за точністю. Практичні рекомендації: SHAP – для глобального аналізу ризиків, LIME – для розслідування інцидентів, дерева рішень – для створення простих правил безпеки./The digital transformation of the financial sector has resulted in a surge of cyber threats. Financial institutions process massive amounts of network traffic daily and employ machine learning models to detect anomalies. Although deep learning methods are highly effective at detecting cyber threats, their adoption is hindered by the “black box” problem — the inability to understand why a model makes a particular decision. For financial institutions, where every blocking decision must be justified and audited, the lack of model transparency is a critical limitation. Security analysts need more than an “attack” signal; they need an understanding of which network features led to that conclusion. There is an urgent need to study explainable artificial intelligence (XAI) methods that can provide transparency for cyber threat detection models in financial networks.

Purpose. This study aims to conduct a comparative analysis of XAI methods — SHAP, LIME, and Decision Trees — for interpreting the decisions of deep neural networks trained to detect cyber threats. Research objectives include training neural network models on two heterogeneous datasets (NSL-KDD and CIC-IDS-2017), applying SHAP, LIME, and decision tree methods to obtain model explanations, comparing the most important features identified by the different methods, analyzing model errors from an interpretability perspective, and formulating XAI method selection recommendations based on the needs of financial institutions.

Results. Two deep neural networks were successfully trained on two datasets: the NSL-KDD dataset, which has 41 features and 125,973 training samples, and the CIC-IDS-2017 dataset, which has 68 features and 225,711 samples. The NSL-KDD model achieved an accuracy of 0.772, a precision of 0.973, a recall of 0.616, and an area under the curve (AUC) of 0.870. The lower recall value is due to previously unknown attack types in the test set. The CIC-IDS-2017 model demonstrated significantly higher performance: Accuracy: 0.9994; Precision: 0.9995; Recall: 0.9994; and AUC: 0.9997. SHAP analysis revealed that, for the NSL-KDD model, the most important features are logged_in (mean SHAP value = 0.0534), dst_host_same_srv_rate (mean SHAP value = 0.0452), and protocol_type (mean SHAP value = 0.0373). These results indicate the critical role of authentication status. For the CIC-IDS-2017 model, the top features were ACK Flag Count (0.0539), Destination Port (0.0432), and Fwd Packet Length Mean (0.0267). These results reflect the packet-level nature of DDoS attacks. LIME provided local explanations for individual predictions. Decision trees generated interpretable “if-then” rules.

Conclusions. SHAP offers the most comprehensive interpretation of global models, enabling feature ranking across entire datasets. SHAP is recommended for financial institutions requiring an understanding of general risk factors. LIME is highly effective at providing local explanations of individual predictions, which is critical for auditing specific security incidents. However, it is unstable under minor input perturbations. Decision Trees generate the most human-understandable rules, though they sacrifice accuracy compared to SHAP and LIME. Practical recommendations: Use SHAP for global risk analysis, LIME for incident investigation, and Decision Trees for creating simple security rules. Future research includes applying XAI to recurrent neural networks for time series analysis and implementing XAI in real bank security information and event management (SIEM) systems.