Сценарий: Ежедневный источник данных предоставляет файлы, которые необходимо загрузить в HDFS.
СОСТОЯНИЕ: источник данных будет выдвигать файлы.Мы не можем пойти и извлечь файлы из источника данных.
Наше решение состоит в том, что источник данных поместит файлы на пограничный узел через SFTP, а затем процесс подберет эти файлы и передаст эти файлы инажмите на HDFS.
Полезно ли хранить данные на пограничном узле?Должен ли Edge Node быть тонким слоем, а не хранилищем?
, если процесс сбора файлов не запущен, и данные начинают собираться на пограничном узле, может быть проблема с полным диском, что может повлиять на другой процесс какнехватка памяти и т. д.
Какова текущая отраслевая практика переноса файлов из источников данных в HDFS?
- Спасибо, Дэвид.