Обнаружение вредоносных веб-запросов на основе машинного обучения с использованием синтетических и реальных журналов веб-сервера

Аннотация

Журналы веб-сервера фиксируют подробную последовательность взаимодействий пользователей, автоматизированных инструментов и злоумышленников с веб-приложением. Поэтому они являются практичным источником данных для обнаружения атак, но одновременно создают важную исследовательскую проблему: модель, хорошо работающая на синтетических или эталонных данных, может хуже выявлять атаки в реальных условиях эксплуатации. В статье сравниваются три модели контролируемого машинного обучения для обнаружения вредоносных HTTP-запросов: Logistic Regression, Random Forest и Gradient Boosting. В эксперименте использованы два источника данных: синтетический набор на основе CSIC 2010 HTTP и анонимизированные журналы коммерческих веб-серверов с реальными паттернами атак. Для обучения выбраны семь признаков: IP-адрес источника, URL, User-Agent, длина URL, статус-код, индикатор GET-запроса и индикатор POST-запроса. Модели оценивались по матрицам ошибок, accuracy, precision, recall, F1-score, ROC-AUC, визуализации границ решений через PCA и learning curves. На синтетических данных все модели показали высокие результаты. На реальных данных различия стали существенными: Random Forest почти не создавал ложных срабатываний, но пропустил большинство атак; Logistic Regression улучшила полноту, но также оставила значительную часть атак необнаруженной; Gradient Boosting показал лучший баланс между полнотой и точностью. Полученные результаты показывают, что boosting-подход является перспективным для обнаружения вредоносных запросов по журналам веб-сервера в условиях, близких к реальной эксплуатации.