Я хочу прочитать некоторые журналы, но не могу.До сих пор я пробовал:
Но единственное, что я получаю, это: INFO compress.CodecPool: Got brand-new decompressor [.lz4] (то же самое для .snappy)
val rawRdd = spark.sparkContext.sequenceFile[BytesWritable, String](<file>)
Возвращает меня <file> is not a SequenceFile
val rawRdd = spark.read.textFile(<file>)
В данном случае java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z
загрузите файл в локальную файловую систему, а затем используйте lz4 -d <file> для распаковки и просмотра содержимого
Я следовал это ТАК сообщение :
with open (snappy_file, "r") as input_file:
data = input_file.read()
decompressor = snappy.hadoop_snappy.StreamDecompressor()
uncompressed = decompressor.decompress(data)
, но когда я хочу print(uncompressed), я получаю только ' 'b