Несколько вопросов о Google Data Fusion

Question

Я открываю для себя инструмент, и у меня есть несколько вопросов:

- что именно вы подразумеваете под типом File в (Source, Sink), - также возможно отправить результат конвейера напрямую на FTP-сервер

Я проверяю документацию, но не нашел эту информацию

спасибо

Answer 1

Краткий ответ: Файл относится к файловой системе, в которой работают конвейеры. В контексте Data Fusion, если вы используете приемник файлов, содержимое будет записано в HDFS в кластере Dataproc.

Data Fusion имеет SFTP-действия, которые можно использовать для записи в SFTP. Вот простой конвейер того, как писать в SFTP из GCS.

Шаг 1: Исходный файл GCS для приемника файлов - записывает содержимое GCS в HDFS в Dataproc при запуске конвейера Шаг 2: действие SFTP Put, которое берет выходные данные из приемника файла и загружает его в SFTP.

Необходимо настроить путь вывода файла так же, как исходный путь в SFTP