Который согласно этому документу ... должен дать мне диаграмму в Jupyter.
Не должно.display
- это особенность проприетарной платформы Databricks, а не функции Spark, поэтому, если вы не используете их фирменный стиль (на основе Zeppelin, а не Jupyter), он не будет вам доступен.