Преимущества обработки с использованием кластеров Hadoop на одной машине с отличной оперативной памятью и ядрами? - PullRequest
0 голосов
/ 14 мая 2018

Я мог бы найти много ответов, связанных с этой темой, но не смог найти что-то связанное со сценарием, о котором я думаю

Скажи, если у меня есть одна мощная машина, у которой есть эти спецификации

Количество потоков на ядро: 2 ядра на разъем: 12 Сокетов: 4 ОЗУ: 512 ГБ

Таким образом, я получаю максимальное количество потоков 96 (12 x 4 x 2),И данные, которые я хочу обработать, составляют 400 ГБ.В этом случае все данные могут поместиться в памяти, и 96 потоков могут работать параллельно.Итак, есть ли в этом случае какое-либо преимущество в использовании Hadoop (учитывая скорость обработки данных)?Сердце Hadoop или «локальность данных» (перенос кода в данные вместо перемещения данных) оказали здесь какое-либо влияние?

...