Построение системы обнаружения вторжений, но с чего начать

Question

Я много искал в системе обнаружения вторжений, но теперь я в замешательстве, так как теперь, с чего мне начать. Я не знаю, существует ли какой-либо код многократного использования с открытым исходным кодом, но я хочу создать систему обнаружения и предотвращения вторжений с нейронной сетью.

С точки зрения разработчика, мой вопрос с чего мне начать. Пожалуйста, направьте меня на эту тему.

Также я сейчас работаю и анализирую набор данных KDD CUP 1999. И в поисках больше таких наборов данных.

Пожалуйста, скажите мне, какие будут наилучшими алгоритмами для построения Системы обнаружения вторжений.

Спасибо всем, кто ответит или прочитает. Пожалуйста, помогите мне в этом. Заранее спасибо.

Answer 1

Я учусь на ту же тему. Обнаружение вторжений и машинное обучение. Это довольно широкая тема. Я более подробно расскажу о предварительной обработке данных и особенностях построения функций. Часть нейронной сети - это совсем другая история.

Прежде всего, эта область сильно коммерциализирована, поэтому практически нет примеров открытого исходного кода. В закрытой экосистеме многое делается на коммерческой основе.

С академической точки зрения: существует проблема с большим набором данных. DK99C (набор данных Darpa - KDD99) существует, но он очень старый. Набор данных KDD99 построен из DARPA tcpdumps. Для построения функций они использовали bro IDS, tcpdump api. С моей точки зрения, намного сложнее создавать функции из raw tcpdump, чем работать с алгоритмами машинного обучения (Neural Network) на готовых функциях.

Прочтите эту статью, чтобы узнать больше о том, как он (KDD99) построен

Article (Lee2000framework) Lee, W. & Stolfo, S. J. 
A framework for constructing  features and models for intrusion detection systems 
ACM Trans. Inf. Syst. Secur., ACM, 2000, 3, 227-261

Прочтите эту статью и ее презентацию, чтобы узнать, почему этот предмет представляет собой сложную проблему для изучения.

 Inproceedings (Sommer2010Outside) Sommer, R. & Paxson, V. 
 Outside the Closed World: On Using Machine Learning for Network Intrusion Detection
 Proceedings of the 2010 IEEE Symposium on Security and Privacy, IEEE Computer Society, 2010, 305-316

Прочтите эту статью, чтобы увидеть, как большинство ученых работают по этому предмету. На самом деле немного разочаровывает.

Article (Tavallaee2010Toward) Tavallaee, M.; Stakhanova, N. & Ghorbani, A. 
Toward Credible Evaluation of Anomaly-Based Intrusion-Detection Methods 
Systems, Man, and Cybernetics, Part C: Applications and Reviews, IEEE Transactions on, 2010, 40, 516 -524

Прочтите, почему DK99C считается вредным. Это вредно, но другого достоверного набора данных не существует.

Article (Brugger2007KDD) Brugger, S. 
KDD Cup’99 dataset (Network Intrusion) considered harmful 
KDnuggets newsletter, 2007, 7, 15

Прочтите это о таксономии предварительной обработки данных IDS

Article (Davis2011Data) Davis, J. J. & Clark, A. J. 
Data preprocessing for anomaly based network intrusion detection: A review 
Computers & Security, 2011, 30, 353 - 375

Answer 2

Большинство систем обнаружения вторжений, которые используют нейронные сети, используют контролируемое обучение, т.е. система запрашивает у вас мнение, когда определенные изменения запрашиваются на ее хосте. Я предлагаю вам начать с выяснения методологии перехвата запросов на изменение. В окнах, которые могут включать использование системного хука для фильтрации определенных действий, запрашиваемых приложениями. Это позволит вашему приложению запрашивать у вас ответ, который будет сверхурочно передаваться в нейронную сеть. Затем этот набор данных можно использовать для оптимизации распознавания определенных шаблонов и ваших ответов на эти шаблоны. Очевидно, есть и другие вещи, которые следует учитывать при создании такой системы, но вы должны хорошо начать, основываясь на том, что я сказал.