Миграции между базами данных с несовместимым бэкэндом базы данных

Question

Я перенесу некоторые данные из одной базы данных в другую, это производственные данные, которые случайно оказались в тестовой базе данных.

Это типичная реляционная база данных, сосредоточенная вокруг одной таблицы пользователей.

Что нужно учитывать

• Дублирующие строки между production и testing могут существовать практически в любой таблице.
• Любой столбец в любомСвязанная с пользователем таблица в тестировании может пропустить содержимое производства или содержать обновленную информацию из-за перерегистрации пользователя.
• Все таблицы содержат created и updated columns.

Я подключался к базе данных через уровень SOAP, потому что это был "простой" способ.Однако у меня есть административный доступ к машинам, на которых работают эти базы данных.

Есть ли у вас какие-либо методы, какие-либо советы или указатели для меня, чтобы помочь мне в достижении этой цели?Возможно, что-то вроде Миграция контента - лучшие практики (PDF) , что угодно, действительно.

Answer 1

1. Сначала сделайте резервную копию всех данных. Никогда не больно говорить это!

2. Установите разумный размер выборки, т. Е. Сколько записей вы хотите просмотреть в деталях, частично исходя из вашего времени / денег и ценности исправленных точных данных.

3. Создайте список, скажем, в электронной таблице этих записей.

4. Если вы можете, определите (внешне), какие из них реальны, возможно, используя адрес электронной почты или другие поля для сравнения с другими данными.

5. Ищите узоры. Есть ли какое-то отдельное поле: - id, date, user_id и т. Д., Которое выглядит так, как будто оно поможет вам узнать, какие записи хороши? Поиск шаблонов значений, диапазонов низких / высоких значений, дублированных «выборочных» данных (одно и то же значение для столбца во многих записях), даты без времени, записи с потерянными внешними идентификаторами, есть удивительное количество вещей, которые вы можете проверить!

6. Определите свой окончательный допуск - вы ищете 100%? Или 99,94% исправленных будет в порядке (хорошо, тогда!) Для пользователей?

7. Посмотрите на те дубликаты, которые вы упомянули. Для этих записей, можете ли вы применить какое-либо правило, такое как «старая запись» или «более новая запись» или низкий идентификационный номер, чтобы хотя бы устранить их?

Надеюсь, это поможет!