Можно ли использовать Apache Mahout без зависимости Hadoop?

Question

Можно ли использовать Apache mahout без какой-либо зависимости от Hadoop.

Я хотел бы использовать алгоритм mahout на одном компьютере, включив только библиотеку mahout в свой проект Java, но я не хочу использоватьHadoop вообще, так как я все равно буду работать на одном узле.

Возможно ли это?

Answer 1

Определенно, да.В FAQ по первому таймеру Mahout Recommender они советуют не начинать с реализации на основе Hadoop (если только вы не знаете, что собираетесь масштабировать более 100 миллионов пользовательских предпочтений относительно быстро).

Вы можете использовать реализации интерфейса Recommender в чистом Java-стиле относительно легко.Или поместите один в сервлет по вашему выбору.

Технически, Mahout имеет зависимость Maven от Hadoop.Но вы можете легко использовать рекомендации без JAR-файлов Hadoop.Это описано в первых нескольких главах Mahout в действии - вы можете загрузить пример исходного кода и посмотреть, как это делается - посмотрите файл RecommenderIntro.java.

Однако, если выЕсли вы используете Maven, вам необходимо вручную исключить Hadoop - зависимость будет выглядеть так:

<dependency>
        <groupId>org.apache.mahout</groupId>
        <artifactId>mahout-core</artifactId>
        <exclusions>
            <exclusion>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-core</artifactId>
            </exclusion>
        </exclusions>
</dependency>

Answer 2

Да.Не все Mahout зависит от Hadoop, хотя многое зависит.Если вы используете кусок, который зависит от Hadoop, конечно, вам нужен Hadoop.Но, например, существует существенная база кода механизма рекомендаций, которая не использует Hadoop.

Вы можете встроить локальный кластер / работник Hadoop в программу Java.