Я новичок в Jupyter, и мне трудно понять, как отображаются определенные объекты в зависимости от используемого ядра.
Вот мой пример.
#sc.install_pypi_package("ipython") <<- to install ipython when using pyspark kernel
from IPython.display import Image
img = Image(url='http://python.org/images/python-logo.gif')
img
КогдаЯ выбираю ядро python3, я вижу изображение под моей ячейкой.
Когда я выбираю ядро pyspark, я вижу текст: <IPython.core.display.Image object>
Я вижу в Интернете, где люди говорят:используйте:
from IPython.display import display
display(img)
Но это имеет тот же результат, что и выше. Я знаю, что я что-то неправильно понимаю, я просто не знаю, что.
Обратите внимание, что я делаю это на AWS с помощью ERM Notebooks -> JupyterLab. Spark работает в кластере EMR.