Ошибка Google Colab: буферизованные данные были обрезаны после достижения предела размера вывода

Question

Проблема

Я обучаю простую Искусственную нейронную сеть (ANN) в Google Colab Laboratory и получаю сообщение об ошибке:

"Буферизованные данные были усечены после достижения предела размера вывода. "

Это сообщение об ошибке появляется в последнем блоке кода при вызове GridSearch.

Ссылка на блокнот: https://colab.research.google.com/drive/1TDYumLOoKA1VhrDlW38ztSbBPFmijIDz

Эта ссылка содержит полный выполняемый код.

Симптомы

Сначала я попытался выполнить Шаг 1 (ИмпортДанные) к шагу 6 (Оценка ANN), и в результате Chrome вышел из строя, предположительно из-за нехватки ресурсов.Я исследовал и нашел здесь тему, касающуюся ограничения выходного журнала:

Google Colab Недостаточно памяти, чтобы открыть эту страницу

После поиска в Google, как это сделать, я вставил "Шаг0 "в записной книжке, которая, казалось, разрешала сбой Chrome.

Обучение ANN теперь происходит в течение нескольких часов и достигает шага 6, где я получаю следующий вывод (пожалуйста, прокрутите вправо на последней строке, чтобы увидеть ошибку):

Epoch 105/500
7200/7200 [==============================] - 0s 56us/step - loss: 0.4021 - acc: 0.8353
Epoch 106/500
7200/7200 [==============================] - 0s 59us/step - loss: 0.4019 - acc: 0.8351
Epoch 107/500
7200/7200 [==============================] - 0s 59us/step - loss: 0.4019 - acc: 0.8354
Epoch 108/500
7200/7200 [==============================] - 0s 58us/step - loss: 0.4019 - acc: 0.8347
Epoch 109/500
7200/7200 [==============================] - 0s 58us/step - loss: 0.4019 - acc: 0.8351
Epoch 110/500
1825/7200 [======>.......................] - ETA: 0s - loss: 0.3930 - acc: 0.8400Buffered data was truncated after reaching the output size limit.

Что я пробовал?

Помимо вставки шага 0, ограничивающего ведение журнала вывода, я пытался выполнить поиск в Google и StackOverflow, но пока нетпомогло.Единственный связанный поток - это:

Буферизованные данные были обрезаны после достижения предельного размера вывода

Автор, однако, не ответил и дал один советне применяется, потому что обучение проводится в Google Colab, а не локально.Поэтому «закрыть программу и перезапустить ее» на самом деле не работает, и не представляется возможным, чтобы я продолжал закрывать и повторно открывать приложение несколько раз.

Наконец, если Google Colab не сможет обучить этот простой ANNКак мы можем использовать его для чего-то другого, кроме выполнения примеров типа «Hello world» в Deep Learning?

Заключение

Я все еще застрял наограничение размера выходного документа.Мне не нужно видеть весь вывод, желательно только первые 5 и последние 5 строк или около того ...

Answer 1

То, что заканчивается, - это отображение буферизованных данных, которые должны отображаться, а не сами вычисления, так что это в любом случае не влияет на вашу модель, вы можете продолжить работу с вашей моделью и продолжить, не беспокоясь об этом.

Если вы скептически относитесь к незнакомцам в Интернете и хотите убедиться, что вы можете провести этот простой эксперимент самостоятельно.

Вы можете ограничить количество эпох и использовать несколько операторов поезда, так как выиспользуют GridSearchCV, он не сохранит лучшие гиперпараметры при нескольких прогонах, поэтому вам придется обрабатывать это вручную, вы можете использовать список для хранения всех гиперпараметров и их значений, или вы можете создавать локальные оптимумы для каждого прогона, а затем средиОни выбирают глобальный оптимум, затем вы можете сравнить его с результатом, который вы получаете, используя его сейчас.

Ограничение регистрации выходных данных или любой другой подобный механизм не будет работать, равно как и перезапуск ноутбука в качествепроблема не в том, что он вычисляет,но что это отображает.И если выходной буфер переполняется, то в следующий раз, когда ему нужно отобразить вывод, он обрабатывает это автоматически.