Миграция данных SQL: прямое обновление DB / Cache и обновление через вызовы REST API - PullRequest
0 голосов
/ 01 июля 2019

Мы столкнулись с ситуацией, когда нам нужно разделить один столбец (old_col) на 3 разных столбца (new_col1, new_col2, new_col3) в базе данных SQL.

Мы уже придумали бизнес-логику разделения значения внутри old_col на new_cols.

Текущая стратегия миграции данных: -

Использовать существующий REST API для обновления (PUT) всех строк. API update имеет встроенную бизнес-логику.

Минусы:

  • слишком долго

  • ненужная нагрузка на сервер

Предлагаемая стратегия: -

Непосредственное обновление значений БД с помощью скрипта

Минусы:

  • Нужно сделать недействительным кеш
  • Чтение нескольких сервисов из БД

Я знаю, что это очень мало информации, но в целом, какова лучшая стратегия для постановки задачи и что еще мы можем сделать / изучить, чтобы уменьшить наши риски?

Серверная часть: GoLang

БД: SQL

Нет записей: 5 миллионов

...