Прочитать PDF-файл в apache spark.

Question

Мы можем прочитать файл avro, используя следующий код,

val df = spark.read.format("com.databricks.spark.avro").load(path)

возможно ли чтение файлов pdf с использованием кадров данных Spark?

Answer 1

Вы не можете прочитать pdf и сохранить его в df, так как он не может прерывать столбцы информационного кадра (в основном он не имеет стандартной схемы ), поэтому, если вы хотите получить некоторые данные из PDF-файл сначала преобразует это в CSV или паркет, а затем вы можете прочитать из этого файла, а затем создать кадр данных, поскольку он имеет определенную схему

Посетите этот справочник, чтобы узнать больше о доступных форматах чтения, которые вы можете использовать для получения данных в виде фрейма данных

DataFrameReader - загрузка данных из внешних источников данных