Будет ли это HIDS или NIDS?
Один хороший ответ здесь: https://searchsecurity.techtarget.com/answer/Should-an-intrusion-detection-system-IDS-be-written-using-Java
И отличное чтение здесь: https://www.researchgate.net/publication/239499071_Java-Based_Intrusion_Detection_System_in_a_Wired_Network
Найдите то, что уже есть, и обновите его так, как вы хотите. Во всей своей славе с открытым исходным кодом.
Если NIDS, Something like Snort, который написан на C. Snort - это анализатор пакетов, который отслеживает сетевой трафик в режиме реального времени, тщательно изучая каждый пакет для обнаружения полезных нагрузок или подозрительных аномалий.
Есть бинарный файл, файл конфигурации, файлы подписи / правил.
Тогда вы попадаете в область открытия сокета, чтения пакетов на высоких скоростях, алгоритмов сопоставления пакетов и файлов сигнатур / правил для последующего вывода на стандартный вывод или регистрации совпадений.