Почему мой сеанс Google Colab продолжает сбой?

Question

Я использую Google Colab для набора данных с 4 миллионами строк и 29 столбцами. Когда я запускаю оператор sns.heatmap (dataset.isnull ()), он выполняется некоторое время, но через некоторое время сеанс завершается сбоем и экземпляр перезапускается. Это часто происходило, и я до сих пор не видел результатов. В чем может быть причина? Данные / расчет слишком много? Что я могу сделать?

Answer 1

Я не уверен, что является причиной вашего конкретного сбоя, но частой причиной является ошибка нехватки памяти.Похоже, вы работаете с достаточно большим набором данных, что вполне вероятно.Вы можете попробовать поработать с подмножеством набора данных и посмотреть, повторяется ли ошибка.

В противном случае CoLab сохраняет журналы в /var/log/colab-jupyter.log.Возможно, вы сможете лучше понять происходящее, распечатав его содержимое.Либо запустите:

!cat /var/log/colab-jupyter.log

Или, чтобы получить только сообщения (легче читать):

import json

with open("/var/log/colab-jupyter.log", "r") as fo:
  for line in fo:
    print(json.loads(line)['msg'])