Ошибка загрузки positionFile: при использовании источника TAILDIR в трубе я получаю ошибку - PullRequest
Новая
       48

Ошибка загрузки positionFile: при использовании источника TAILDIR в трубе я получаю ошибку

0 голосов
/ 11 июня 2018

Я работаю над Flume, чтобы добавить данные из локального каталога в HDFS с использованием Flume Source TAILDIR .

Мой пример использования - Delta Load, если новая строка приходит в источникфайл в локальной директории, так что добавится в hdfs.

Это мой файл конфигурации Flume : 

#configure the agent
agent.sources=r1
agent.channels=k1
agent.sinks=c1

agent.sources.r1.type=TAILDIR
agent.sources.r1.positionFile = /home/flume/Documents/taildir_position.json
agent.sources.r1.filegroups=f1
agent.sources.r1.filegroups.f1=/home/flume/Documents/spooldir/
agent.sources.r1.batchSize = 20
agent.sources.r1.writePosInterval=2000
agent.sources.r1.maxBackoffSleep=5000
agent.sources.r1.fileHeader = true

agent.sources.r1.channels=k1
agent.channels.k1.type=memory
agent.channels.k1.capacity=10000
agent.channels.k1.transactionCapacity=1000   

agent.sinks.c1.type=hdfs
agent.sinks.c1.channel=k1
agent.sinks.c1.hdfs.path=hdfs://localhost:8020/flume_sink
agent.sinks.c1.hdfs.batchSize = 1000
agent.sinks.c1.hdfs.rollSize = 268435456
agent.sinks.c1.hdfs.writeFormat=Text

при выполнении команды flume: flume-ng agent -n agent -c conf -f / home/swechchha/Documents/flumereal.conf

Я получаю ошибку Loading Json File Unable to Load Json file

Я получаю ошибку при загрузке файла JSON.

Ответы [ 2 ]

0 голосов
/ 15 июня 2018

Flume.conf, упомянутый в предложении вопроса, имеет проблему.

TAILDIR SOURCE : просмотр указанных файлов и их привязка практически в реальном времени после обнаружения новых строк, добавляемых вкаждый файлы.Если записываются новые строки, этот источник будет пытаться прочитать их в ожидании завершения записи.

Хотя при записи в каталог свойств filegroups может входить несколько файлов, в этом случае он должен упоминаться как каталог path /. filestype. 

agent.sources.r1.filegroups.f1=/home/flume/Documents/spooldir/.*txt.*

Затем запустите flume.conf и проверьте результат, он будет работать нормально.

0 голосов
/ 13 июня 2018

Здесь - код.Сбой в строке 110. Убедитесь, что у пользователя flume есть доступ к этому файлу JSON и что файл правильно отформатирован.

...