Если вы пишете свои записи в журнале в формате, подобном многим другим службам, тогда существует довольно много различных служб, которые вы можете использовать для блокировки доступа к вашей системе:
Sshguard выглядит довольно неплохо, поскольку он имеет модульные бэкэнды и поддерживает целый ряд различных форматов журналов, включая: ssh, sendmail, exim, dovecot, pureftpd и vsftpd.