Загрузка файла pcap в спарк с использованием python - PullRequest
Новая
       14

Загрузка файла pcap в спарк с использованием python

0 голосов
/ 12 сентября 2018

Я новичок в Spark. У меня есть файл pcap. Как Spark может прочитать этот файл, используя python? Как я могу загрузить файл pcap в Spark, используя python и как он может обрабатывать? 

conf = SparkConf().setMaster("local").setAppName("SparkStreamingPcap")
sc = SparkContext(conf = conf)
sc.setLogLevel("ERROR")
spark = SparkSession(sc)
FileLog = sc.textFile("pcapFiles/ipv4frags.pcap")
df = FileLog.map(lambda line: line.split("\n"))
print("Helloo")
print (df.count())

1 Ответ

0 голосов
/ 26 сентября 2018

Вы также можете попробовать использовать dpkt или scapy для анализа файлов pcap в коде pyspark.

...