Основной темой здесь является использование распределенного глубокого обучения в форме табличных данных о ставках (HADOOP) для анализа настроений.
Я устанавливаю кластер из 3 машин, используя Hadoop Hadds и Spark.
если я прав, искра - альтернатива уменьшению карты хэдупа.
Я знаю ключевое понятие о том, как работает hadoop, но я запутался в том, как на самом деле работает spark, например, для MLlib, я не знаю, входит ли он в этот дистрибутив "https://spark.apache.org/downloads.html".
Итак, после установки Hadoop на моих машинах, я установил искру в своем мастере, затем перешел на DL4j. Я скачал примеры DL4J и установил его с помощью maven. Теперь я не знаю, как использовать его с spark и hdfs.
Мои вопросы:
Нужно ли устанавливать свечи в рабах?
Является ли DL4J альтернативой MLlib или я должен использовать оба?
Какое содержимое примеров DL4J содержит основные библиотеки, которые я должен использовать для своего кода (а не их примеры)?