Чем Hadoop отличается от базы данных?

Question

Я проводил тематическое исследование по Spotify. Я узнал, что Spotify использует Cassandra в качестве базы данных, а также Hadoop. Мой вопрос: чем Hadoop отличается от базы данных? Какой тип файлов хранит Hadoop datanode? Почему у каждой корпорации есть DB и Hadoop. Я знаю, что Hadoop - это не БД, но для чего он используется, если для хранения данных существует кластер БД?

Answer 1

Hadoop вообще не является базой данных. Hadoop - это набор инструментов для распределенного хранения и обработки, таких как распределенная файловая система (HDFS), библиотеки инфраструктуры MapReduce, менеджер ресурсов YARN.

Другие инструменты, такие как Hive, Spark, Pig, Giraph, sqoop и т. Д., Могут использовать Hadoop или его компоненты. Например, Hive - это база данных. Он использует HDFS для хранения своих данных и примитивы инфраструктуры MapReduce для построения графика выполнения запросов.