Файл не загружен в HDFS из локальной сети с использованием потоковых наборов (проверено успешно!) - PullRequest
0 голосов
/ 22 октября 2018

Я только начал использовать потоковые наборы, и я пытаюсь загрузить текстовый файл с локального на HDFS.Обратите внимание: я использую Cloudera Manager, вот представление «core-site.xml»:

<property>
 <name>hadoop.ssl.server.conf</name>
 <value>ssl-server.xml</value>
 <final>true</final>
</property>
<property>
 <name>hadoop.ssl.client.conf</name>
 <value>ssl-client.xml</value>
 <final>true</final>
</property>
<property>
 <name>hadoop.proxyuser.sdc.hosts</name>
 <value>*</value>
</property>
<property>
 <name>hadoop.proxyuser.sdc.groups</name>
 <value>*</value>
</property>
</configuration>

Локальный файл - это текстовый файл, хранящийся в «/ home / cloudera / Desktop».

Вот представление конфигурации источника (Local) в Streamsets:

Local file configuration in Streamsets

Вот представление конфигурации Hadoop fs в Streamsets:

Hadoop fs configuration in Streamsets

Он был успешно проверен!

Pipline Has Been Validated

После того, как я сыграю в трубопроводе, я должен найти файл в каталоге HDFS, который яуказано, особенно в "/user/cloudera".

Но когда я его запускаю, файл не был загружен.

Я уверен, что что-то пропустил, и я не смог найтиответь за это.Не могли бы вы помочь!

Спасибо,

1 Ответ

0 голосов
/ 22 октября 2018

Вам нужно играть в конвейер, а не только проверять его.

...