Блокнот Jupyter медленно реагирует, когда коды состоят из нескольких строк

Question

У меня вопрос к ноутбуку Jupyter.

Когда я скопировал и вставил 663 строки кода Python в блокнот Jupyter, он показывает намного меньший отклик, чем у ноутбука, у которого всего несколько строк кода.

Кто-нибудь сталкивался с этой проблемой? Кто-нибудь знает решение?

Answer 1

Добавьте это в свой блокнот и затем нажмите на ссылку после выполнения ячейки. Затем вы можете отслеживать прогресс того, что выполняется, и видеть, какие операторы вызывают его замедление. Вы также можете разбить код на несколько ячеек, чтобы увидеть, где происходит замедление.

from IPython.core.display import display, HTML
#sc = SparkContext.getOrCreate()
from pyspark import SparkContext
sc =SparkContext()
spark_url = sc.uiWebUrl
display(HTML('''
<p>
    <br />Spark connection is ready! Use this URL to monitor your Spark application!
</p>
<p>
    <a href="{spark_url}">{spark_url}</a>
</p>'''.format(spark_url=spark_url)))

Answer 2

Без какой-либо информации о вашем коде действительно сложно дать вам ответ. Однако постарайтесь держать вас под контролем. Слишком большой вывод для генерации за один прогон может убить ядро. Более того, нет смысла запускать в одной ячейке почти 700 строк кода. Вы уверены, что используете правильный инструмент? Иногда фрагмент кода может замедлить весь сеанс, если вы разделите свое выполнение на более мелкие части, по нескольким ячейкам вы найдете то, что действительно является вашим узким местом.