Мы извлекаем данные Twitter из движка Twitter, используя Apache Flume.Здесь я включил файл конфигурации с необходимыми свойствами для источника, канала и приемника.Я использовал источник в качестве источника TWITTER, канал в качестве канала MEMORY и приемник в качестве приемника HDFS. А также я завершил извлечение данных из Twitter через flume. Но здесь полученные данные представлены в виде файла BIN (FLUMEDATA.12334555678)это. И я не могу открыть файл напрямую.А также содержимое файла является довольно нерегулярным, что я не могу понять .... как показано ниже.
, пожалуйста, помогите мне о том, КАК ОБРАЩАТЬСЯ В КОНКРЕТНОМ ФАЙЛЕ, и как просмотреть данные твита, которые находятся вHDFS?Любой ответ может помочь мне .....
ДАННЫЕ В ФАЙЛЕ СМОТРЕТЬ, КАК СЛЕДУЮЩИЙ:
hdfs dfs -cat /twitterdata/FlumeData.1543741485655
{"type":" запись», "имя": "Doc", "документ": "Adoc", "поле": [{ "имя": "идентификатор", "Тип": "строка"}, { "имя":"user_friends_count", "тип": [ "ИНТ", "нуль"]}, { "имя": "USER_LOCATION", "тип": [ "строка", "нуль"]}, { "имя": "USER_DESCRIPTION», "тип": [ "строка", "нуль"]}, { "имя": "", "тип user_statuses_count": [ "ИНТ", "нуль"]}, { "имя": "user_followers_count","Тип": [ "ИНТ", "нуль"]}, { "имя": "user_name", "тип": [ "строка", "нуль"]}, { "имя": тип "user_screen_name", "": [" строка», "нуль"]}, { "имя": "created_at", "тип": [ "строка", "нуль"]}, { "имя": "текст", "тип":[ "строка", "нуль"]}, { "имя": "retweet_count", "тип": [ "длинный", "нулевой"]}, { "имя": "Процитировал", "тип": [»логическое значение», "нуль"]}, { "имя": "in_reply_to_user_id", "тип": [ "длинная", "нулевая"]}, { "имя": "источник", "типа": [ "строка", "нулевой"]}, { "имя": "in_reply_to_status_id", "тип": [ "длинный", "нулевой"]}, { "имя": "media_url_https", "тип": [ "строка",»нуль "]}, {" имя ":" ЭКСПАnded_url "," type ": [" string "," null "]}]} ˋ�rpex � & 1069155373561475073�" � $ MakeHouseDeepAgainbrad_k1 (2018-12-02T14: 34: 39Zj @ _raeluv22 Мне в эту погоду Twitter для iPhone��������v https://pbs.twimg.com/tweet_video_thumb/DtZnIhkU0AA7c9B.jpg| https://twitter.com/brad_k1/status/1069155373561475073/photo/1ˋ�rpex L� ^ I: �