Не в состоянии хранить данные в твиттере - PullRequest
Новая
       45

Не в состоянии хранить данные в твиттере

0 голосов
/ 24 марта 2019

Нам удалось извлечь данные из твиттера, но мы не смогли сохранить их в нашей системе с помощью flume. Не могли бы вы объяснить

1 Ответ

0 голосов
/ 28 марта 2019 
you might have problem in channel or sink may be that's why u r data is not storing in hdfs.

try to understan  this one

TwitterAgent.sinks.HDFS.channel = MemChannel
TwitterAgent.sinks.HDFS.type = hdfs
TwitterAgent.sinks.HDFS.hdfs.path = hdfs://yourIP:8020/user/flume/tweets/%Y/%M/%d/%H/
TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream
TwitterAgent.sinks.HDFS.hdfs.writeFormat = Text
TwitterAgent.sinks.HDFS.hdfs.batchSize = 1000
TwitterAgent.sinks.HDFS.hdfs.rollSize = 0
TwitterAgent.sinks.HDFS.hdfs.rollCount = 10000

and chek with jps if your data node and namenode is working
...