Использование обычной базы данных в качестве хранилища данных - PullRequest
0 голосов
/ 16 октября 2018

Может кто-нибудь сказать мне, каковы последствия при попытке использовать обычную базу данных в качестве хранилища данных?

Я понимаю, что хранилище данных известно для более структурированного хранения данных, однако, каково значение использования стандартной базы данных для достижения того же результата?Разве мы не можем просто создать обычную таблицу базы данных со структурированными данными, как если бы она находилась в хранилище данных?

1 Ответ

0 голосов
/ 16 октября 2018

Структура данных не проблема - оптимизация.

Базы данных OLTP, такие как SQLS, оптимизированы для надежной записи транзакций.Они хранят данные в виде записей и широко используют дисковый ввод-вывод.

Базы данных BI, такие как Redshift или Teradata, оптимизированы для запроса данных.Они хранят данные в виде столбцов и часто находятся только в оперативной памяти (без дискового ввода-вывода).

В результате традиционные базы данных лучше вводят данные, а базы данных BI лучше выводят данные (обе платформы пытаются смягчить свои недостатки, поэтому разница стирается).

На практике вы можете использовать обычные базы данных, такие как SQLS, для создания хранилища данных без каких-либо проблем, если только у вас нет особых потребностей:

  • Размер данных большой (миллиарды записей)
  • Высокая частота обновления (час / минута / реальное время)
  • Вы собираетесь использовать прямое соединение с инструментами BI, такими как Tableau или PowerBI (в отличие от загрузки в них данных)
  • Ваши запросы очень сложны и требуют больших вычислительных ресурсов

Вы также можете комбинировать обе платформы.Импортируйте, обрабатывайте, интегрируйте и храните данные в обычной базе данных, а затем преобразуйте их в звездообразную схему (многомерную модель) и опубликуйте их в базе данных BI (т. Е. Сохраните нормализованные данные в SQLS и опубликуйте звездообразную схему в Redshift).

Если вы намереваетесь импортировать данные в инструменты BI, такие как Tableau или PowerBI, то вы можете безопасно использовать любую традиционную базу данных, поскольку они опираются на свои внутренние механизмы и использование базы данных BI не даст вам никаких преимуществ.

...