Hortonworks: Hbase, Hive и т. Д. Для какого типа данных - PullRequest
Новая
       41

Hortonworks: Hbase, Hive и т. Д. Для какого типа данных

0 голосов
/ 24 июня 2018

Я хотел бы спросить, может ли кто-нибудь сказать мне или отослать меня на интернет-страницу, где описаны все возможности хранения данных в кластере apache hadoop.

То, что я хотел бы знать: какой тип данных должен храниться в какой «системе».Под типом данных я имею в виду, например:

  1. Живые данные (в режиме реального времени)
  2. Исторические данные
  3. Данные, к которым регулярно обращаются из приложения
  4. ...

Полный вопрос не сводится к Hbase или Hive ("Система"), но ко всему, что доступно в Hdp.

Я надеюсь, что кто-то может привести меня внаправление, где я мог бы найти свой ответ.Спасибо!

1 Ответ

0 голосов
/ 26 июня 2018

Я могу дать вам обзор, но остальные вещи вы должны прочитать самостоятельно.

Давайте начнем с типов данных, которые вы хотите хранить в HDFS:

  1. Данные в движении (которые вы обозначили как данные в реальном времени).

Итак, как вы можете получить данные в реальном времени? Это вообще возможно? Ответ - нет. Там всегда будет задержка. Однако мы можем сократить время простоя и время обработки данных. Для которого у нас есть HDF (Hortonworks Data Flow). Работает с данными в движении. Существует множество сервисов, обеспечивающих потоковую передачу данных в реальном времени. Вы можете взять пример Кафки, Нифи, Шторма и многих других. Эти инструменты используются для обработки данных. Вам также необходимо хранить данные таким образом, чтобы их можно было извлечь не раз (~ 2 секунды), для этого мы используем HBase. HBase хранит данные в столбчатой ​​структуре.

  1. Данные в состоянии покоя (Исторические данные / Данные, сохраненные для будущего использования)

Таким образом, для хранения данных в покое таких проблем нет. HDP (Hortonworks Data Platform) предоставляет нам услуги для приема, хранения и обработки данных. Даже мы можем интегрировать службы HDF в HDP (до версии 2.6), что также упрощает обработку данных в движении. Здесь нам нужны базы данных для хранения большого количества данных. Однако нам предоставляется HDFS (распределенная файловая система Hadoop), которая может помочь нам хранить любые данные. Но мы НЕ ТОЛЬКО хотим хранить наши данные, мы хотим получать их не тогда, когда это требуется. Итак, как мы планируем это сделать? Храня наши данные в структурированном виде. Для чего нам предоставляются Hive и HBase. Чтобы хранить такой объем данных, который находится в ТБ, нам нужно запустить тяжелые процессы, в которых MapReduce, YARN, Spark, Kubernetes, Spark входят в картину.

Это основная идея хранения и обработки данных в Hadoop.

Отдых всегда можно почитать из интернета.

...