Загрузка данных социальных сетей, таких как Facebook, Instagram, Twitter, в Data HUB marklogic

Question

В поисках простого способа загрузки данных социальных сетей из Facebook, Instagram и Twitter в центр данных Marklogic.

Я мог бы представить, что хранение данных социальных сетей в HDFS, а затем в MarkLogic было бы способом использовать огромное количество данных. Использование MLCP. Я проверил в Apache NIFI, есть ли какой-либо источник данных социальных сетей и создать поток в MarkLogic. Но ничего такого, что напрямую связывало Facebook или Insta с Twitter, не было.

Основная цель: найти всю информацию о еде, спорте, гонках в социальных сетях по темам, рейтингам и т. Д. По другим критериям поиска. Источник, Документы, Изображения и текстовая информация

Answer 1

Сложность заключается в том, чтобы получить его от социальных сетей больше, чем в MarkLogic.Я предлагаю вам продолжить поиск того, как использовать NiFi для получения этих данных - это, скорее всего, уже сделано.Получив это, просто отправьте на PutMarkLogic процессор, и вы в хорошей форме.

Например, я нашел это довольно быстро: https://github.com/iheb-boughzala/AllFbPostsUsingNifi. Я не рассматривал это подробно, но похоже, что вам просто нужно заменить процессор PutHDFS на PutMarkLogic.