Оптимизатор Tensorflow супер медленный - PullRequest
0 голосов
/ 22 апреля 2020

Я новичок ie в Tensorflow. Я хочу загрузить огромный массив данных в GPU. Каждая точка данных - это научная статья c, на которой я хочу использовать алгоритмы суммирования. Бумага имеет фиксированный размер 500 предложений, а каждое предложение имеет 200 узлов. Я запускаю TreeLSTM в каждом предложении статьи. Проблема в том, что мой оптимизатор (адаград) так долго возвращает убытки.

Если я установлю, например, количество предложений на бумагу равным 32, то это возвращает потерю в 10,7067. Однако, когда количество предложений равно 500, это занимает много времени и иногда вызывает OOM (нехватка памяти).

Любые советы, помогающие мне понять, почему эта проблема происходит, приветствуются.

paper size, time 
32        : 10.7067s
64        : 22.6721s
500       : does not finish in 30mins (but expected to take 170s)
...