Как красиво показать Pyspark DataFrames в Jupyter?

Question

Я использую Pyspark в записной книжке Jupyter (сейчас просто следую учебным пособиям, ничего сложного).

В сети я вижу множество изображений прекрасно отрендеренных DataFrames в Jupyter (используя функцию display()), но когда я использую это в моей системе, я вижу только такие строки: DataFrame[id: string, name: string, age: bigint]

Я импортировал следующие библиотеки:

import pyspark

from functools import reduce
from graphframes import *
from IPython.display import display, HTML
from pyspark.context import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.functions import col, lit, when
from pyspark.sql.session import SparkSession

Как правильно отобразить мои фреймы данных? Или хотя бы чтобы я мог видеть их содержание?

Answer 1

Вы пытались использовать df.show(), например, в вашем случае вы можете попробовать сделать edges.show() или g.vertices.show(), это должно сделать базовую таблицу. Если вы ищете более качественную и продвинутую визуализацию своих данных, вы можете установить sparkmagic со встроенной библиотекой визуализации ( autoviz )

Вотхороший пример блокнот , демонстрирующий, как вы можете объединить панд фрейм данных с сюжетно для визуализации некоторых приятных визуализаций.

Надеюсь, это поможет.

Answer 2

Что вы имеете в виду под HTML-таблицей или диаграммой? Если вы имели в виду HTML-таблицы, вам не нужно делать ничего особенного, так как информационные рамки pandas по умолчанию отображаются в виде удобной HTML-таблицы

Если вы имели в виду, диаграммы, вам придется либо использовать другие библиотеки графиков, либо использовать sparkmagic / autoviz.