Просмотр текста внутри объекта Pyspark

Question

Я могу загрузить файл журнала с помощью следующей команды:

logFile = sc.textFile("/resources/jupyterlab/labs/BD0211EN/LabData/notebook.log")

Но когда я пытаюсь просмотреть содержимое файла log, я не могу это сделать.Я проверил dir(logFile), но не могу увидеть содержимое внутри.Теперь, когда я запускаю код в ячейке Jupyter, я получаю следующее:

/resources/jupyterlab/labs/BD0211EN/LabData/notebook.log MapPartitionsRDD[1] at textFile at NativeMethodAccessorImpl.java:0

Можно ли просмотреть содержимое файла журнала?

Спасибо

Answer 1

Полагаю, вам нужно следующее:

logFile.collect()

Это покажет вам контент, разделенный на две строки.