Интеллектуальный анализ с использованием Hadoop - PullRequest
Новая
       5

Интеллектуальный анализ с использованием Hadoop

1 голос
/ 09 января 2011

Я хочу сделать проект Hadoop и map уменьшить и представить его как мой дипломный проект . В связи с этим я немного подумал, поискал в интернете и предложил идею реализации некоторых базовых алгоритмов интеллектуального анализа , скажем, на социальных сайтах, таких как Facebook, или, возможно, stckoverflow, Quora и т. Д. графики, сравнительные распределения частот и другие важные значения. Для целей поиска целесообразно использовать Apache Solr ?

Я хочу знать

  1. Если такое возможно с помощью вышеупомянутых инструментов, если да, то как мне развить эту маленькую идею?
  2. Где я могу узнать об алгоритмах интеллектуального анализа, которые легко реализовать с использованием методов сокращения Java и Map?
  3. В случае, если это неправильная идея, пожалуйста, предложите, что еще можно сделать при использовании Hadoop и других связанных подпроектов?

Спасибо

1 Ответ

1 голос
/ 10 января 2011
  1. Ваша идея, вероятно, должна развиваться немного дальше. Например. попытайтесь понять, чего именно вы пытаетесь достичь.
  2. Если вы ищете простой в освоении инструмент для анализа данных, взгляните на Hive . Более продвинутые алгоритмы вы можете найти в Mahout - реализации многих алгоритмов интеллектуального анализа данных с открытым исходным кодом.

Если вы ищете примеры или идеи, посмотрите на этот проект, который демонстрирует использование Hadoop и Hive для отслеживания тенденций на одном из самых популярных социальных сайтов, который находится в Википедии: https://github.com/datawrangling/trendingtopics

...