Как проверить, принадлежит ли определенный IP-адрес к какому диапазону в кадре данных PySpark?

Question

У меня есть 2 кадра данных PySpark. 2-й кадр данных состоит из IP-адреса, 1-й кадр данных имеет 3 столбца, 1-й столбец начального IP-адреса и 2 IP-адреса конца столбца, а 3-й столбец имеет название страны.

Теперь я должен проверить столбец IP-адреса 2-го кадра данных в 1-м столбце данных, чтобы узнать, к какой стране он принадлежит ??

Answer 1

, если вы хотите проверить, из какой страны принадлежит ip, тогда используйте python geoip2 framework. за дополнительной информацией обращайтесь: - https://packagist.org/packages/geoip2/geoip2

Answer 2

Вы можете использовать перекрестное соединение и udf для фильтрации записей, попадающих в диапазон ip

df1.crossJoin(df2).where( isInIpRangeUdf(df1.col("start_ip"), df1.col("end_ip"),df2.col("ip_address")) == True).show()