Преобразование данных GeoLite2 для использования с xtables geoip - PullRequest
Новая
       24

Преобразование данных GeoLite2 для использования с xtables geoip

0 голосов
/ 20 января 2019

Мои извинения, если это было покрыто здесь или в другом месте. Я читаю сообщения до 2016 года.

Моя система debian перестала обновлять базу данных xtables geoip. В ходе расследования выяснилось, что это связано с тем, что Maxmind отказался от поддержки устаревших баз данных GeoIP. Я дошел до того, что установил и настроил программу gemipupdate Maxmind для базы данных GeoLite2 и планировал ее еженедельно в crontab.

На данный момент я в тупике. geoipupdate возвращает базу данных .mmdb. Это не может использоваться скриптами, поставляемыми debian, которые преобразуют файлы .CSV в файлы кода страны в / usr / share / xt_geoip / LE и /usr/share/xt_geoip/BE.

Пакет debian xtables-addons не был обновлен для решения этой ситуации.

Помощь или указатель на решение будут с благодарностью приняты. В настоящее время я все еще использую последнюю действующую базу данных, которой сейчас уже более шести месяцев.

Ответы [ 3 ]

0 голосов
/ 22 марта 2019

Вы также можете загрузить исходный код из проекта xtable-addon (напрямую или из sid-версии пакета xtables-addons-common) и получить обновленные версии сценариев.

https://sourceforge.net/projects/xtables-addons/files/Xtables-addons/

См. Следующий ответ Askubuntu: https://askubuntu.com/questions/1117669/xtables-addons-issues-with-maxmind-geolite2

0 голосов
/ 24 марта 2019

В итоге я написал этот скрипт, который теперь запускается еженедельно. Пока (три месяца спустя) это кажется удовлетворительным.

cat update-geoip.sh 

#!/bin/bash -e

GEOLITE_URL="https://geolite.maxmind.com/download/geoip/database/GeoLite2-Country-CSV.zip"
GEOLITE_ZIP="GeoLite2-Country-CSV.zip"
COUNTRY_URL="http://download.geonames.org/export/dump/countryInfo.txt"

#
# Switch to the GeoIP directory if not already there
#
echo "--> cd /usr/share/xt_geoip"
cd /usr/share/xt_geoip

#
# Remove anything remaining from previous failed runs
#
# Note:  DO NOT delete the existing BE and LE subfolders at this
#        time.  If the download fails the result would be no
#        database at all.
#
echo "--> rm -r GeoLite2*"
rm -r -f GeoLite2*
echo "--> rm countryInfo.txt"
rm -f countryInfo.txt
echo "--> rm GeoIP-legacy.csv"
rm -f GeoIP-legacy.csv

#
# Get the GeoIP ZIP file
#
echo "--> wget --no-check-certificate $GEOLITE_URL"
wget --no-check-certificate $GEOLITE_URL

#
# See if the ZIP file now exists
#
if [ ! -e $GEOLITE_ZIP ]; then
  echo "--> GeoIP ZIP file did not download"
  echo "--> Send email to root and stop here"
  /usr/sbin/sendmail root << EOM
From: Update_GeoIP
To: root
Subject: GeoIP update failed

GeoIP update failed.
Unable to download GeoIP ZIP file
$GEOLITE_ZIP
EOM
  exit
fi

#
# Unzip the ZIP file
#
echo "--> unzip $GEOLITE_ZIP"
unzip $GEOLITE_ZIP

#
# Delete the ZIP file
#
#echo "--> rm $GEOLITE_ZIP"
rm $GEOLITE_ZIP

#
# Move the received data directory to a standard name
#
echo "--> mv GeoLite2-Country-CSV_* GeoLite2"
mv GeoLite2-Country-CSV_* GeoLite2

#
# See if the critical GeoIP data files now exist
#
if [ ! -e "GeoLite2/GeoLite2-Country-Blocks-IPv4.csv" ] ||
   [ ! -e "GeoLite2/GeoLite2-Country-Blocks-IPv6.csv" ]; then
  echo "--> GeoIP data files are missing"
  echo "--> Send email to root and stop here"
  /usr/sbin/sendmail root << EOM
From: Update_GeoIP
To: root
Subject: GeoIP update failed

GeoIP update failed.
GeoIP data file(s) are missing
GeoLite2/GeoLite2-Country-Blocks-IPv4.csv
GeoLite2/GeoLite2-Country-Blocks-IPv6.csv
EOM
  exit
fi

#
# Get the country info data file
#
echo "--> wget --no-check-certificate $COUNTRY_URL"
wget --no-check-certificate $COUNTRY_URL

#
# See if the country info data file now exists
#
if [ ! -e "countryInfo.txt" ]; then
  echo "--> Country info data file did not download"
  echo "--> Send email to root and stop here"
  /usr/sbin/sendmail root << EOM
From: Update_GeoIP
To: root
Subject: GeoIP update failed

GeoIP update failed.
Unable to download country info data file
$COUNTRY_URL
EOM
  exit
fi

#
# Build an old format data file from the new format data files
#
echo "--> cat ./GeoLite2/GeoLite2-Country-Blocks-IPv{4,6}.csv | ./convert_GeoLite2.pl ./countryInfo.txt > /usr/share/xt_geoip/GeoIP-legacy.csv"
cat ./GeoLite2/GeoLite2-Country-Blocks-IPv{4,6}.csv | ./convert_GeoLite2.pl ./countryInfo.txt > /usr/share/xt_geoip/GeoIP-legacy.csv

#
# Delete the downloaded data files
#
echo "--> rm -r GeoLite2"
rm -r GeoLite2
echo "--> rm countryInfo.txt"
rm country_Info.txt

#
# Preserve the old BE and LE directories just in case
#
echo "--> rm -r -f LastBE LastLE"
rm -r -f LastBE LastLE
echo "--> mv BE LastBE"
mv BE LastBE
echo "--> mv LE LastLE"
mv LE LastLE

#
# Convert the generated database to the xtables GeoIP format
#
echo "--> /usr/lib/xtables-addons/xt_geoip_build -D /usr/share/xt_geoip ./GeoIP-legacy.csv"
/usr/lib/xtables-addons/xt_geoip_build -D /usr/share/xt_geoip ./GeoIP-legacy.csv

#
# Delete the remaining data files
#
echo "--> rm countryInfo.txt"
rm countryInfo.txt
echo "--> rm GeoIP-legacy.csv"
rm GeoIP-legacy.csv

#
# Notify root that the update succeeded
#
echo "--> Send notification email to root"
/usr/sbin/sendmail root << EOM
From: Update_GeoIP
To: root
Subject: Weekly update of xtables GeoIP completed

Weekly update of xtables GeoIP database successful.
EOM
echo "xtables GeoIP database update completed"
0 голосов
/ 24 января 2019

Посмотрите на GeoLite2xtables: - https://github.com/mschmitt/GeoLite2xtables

Вы можете скачать zip (или git clone).В нем есть пример рабочего процесса (команды оболочки) для устаревшего GeoLite CSV (который, вероятно, тот, который у вас перестал работать в начале января 2019 года) и GeoLite2 CSV (который вы можете использовать вместо этого).

...