Я использую Java-версию appengine-mapreduce для внесения изменений в некоторые большие производственные таблицы (около 250 МБ данных при загрузке в файл CSV).
Что я обнаружил, так это то, что он абсолютно сжигает ресурсы ЦП - настолько, что мне нужно специально максимизировать биллинг ЦП, чтобы иметь возможность перебирать одну таблицу для обновления.
Существуют ли известные решения этой проблемы, поскольку она становится довольно дорогим способом внесения изменений в производственные данные?
Я пытался разбить процесс на кусочки TaskQueues.
Я также пытался регулировать его, используя параметр скорости обработки.
Но замедление означает, что это занимает больше времени и использует то же общее количество процессорных часов.
Действительно надеюсь, что есть решение этой проблемы, поскольку у меня, похоже, нет другого доступного варианта внесения изменений в мои производственные таблицы (о которых я знаю).