Sagemaker PySpark: Kernel Dead

Question

Я следовал инструкциям здесь , чтобы настроить кластер EMR и ноутбук SageMaker.У меня не было ошибок до последнего шага.

Когда я открываю новый блокнот в Sagemaker, я получаю сообщение:

The kernel appears to have died. It will restart automatically.

А затем:

        The kernel has died, and the automatic restart has failed.
        It is possible the kernel cannot be restarted. 
        If you are not able to restart the kernel, you will still be able to save the 
notebook, but running code will no longer work until the notebook is reopened.

Это происходит только тогда, когда я использую ядро ​​pyspark / Sparkmagic.Ноутбуки, открытые с ядром Conda или любым другим ядром, работают нормально.

Мой кластер EMR настроен точно так же, как в инструкциях, с добавленным правилом:

[
  {
    "Classification": "spark",
    "Properties": {
      "maximizeResourceAllocation": "true"
    }
  }
]

Буду признателен за любые указания относительно того, почему это происходит, и как я могу отлаживать / исправлять.

PS: Я успешно делал это в прошлом без каких-либо проблем.Когда я попытался повторить это сегодня, я столкнулся с этой проблемой.Я попытался воссоздать кластеры EMR и ноутбуки Sagemaker, но это не помогло.

Answer 1

Спасибо за использование Amazon SageMaker.

Проблема в том, что Pandas 0.23.0 изменил расположение основного класса с именем DataError, а SparkMagic не был обновлен, чтобы требовать DataError из правильного пространства имен.

Обходной путь для этой проблемы - понизить версию Pandas в SageMaker Notebook Instance с pip install pandas==0.22.0.

. Вы можете получить больше информации в этом открытом выпуске github https://github.com/jupyter-incubator/sparkmagic/issues/458.

Сообщите нам, еслимы можем оказать любую другую помощь.

Спасибо,
Нилам