Недавно я столкнулся с проблемой. Преобразование, которое вызывает его, имеет шаг «Вставка / обновление», который работает с таблицей, содержащей более 200 миллионов записей. После того, как соединение с сервером базы данных было потеряно, и я повторно запустил преобразование вручную, в окне журнала можно увидеть, что на шаге повторно проверяются уже загруженные записи до потери соединения. Я понимаю, что это логичное поведение шага. Но у меня нет шансов скачать все записи. Иногда процесс останавливается после 15 миллионов записей, иногда после 50 миллионов.
Как бороться с этой проблемой? Я думал об автоматическом увеличении значения первичного ключа и сохранении последнего значения первичного ключа после потери соединения. Или сортировка записей целевой таблицы по первичному ключу, поиск пробелов и возобновление загрузки со значениями в пробелах. Но есть ли в Пентахо какие-то механизмы, которые могли бы сделать эту работу?