Как запустить задание потока данных с кодом Python - PullRequest
Новая
       22

Как запустить задание потока данных с кодом Python

0 голосов
/ 07 февраля 2019

Я хочу запустить задание потока данных, как только я уроню один файл в облачном хранилище. И я запускаю облачную функцию, чтобы запустить его. Но я не знаю, как запустить задание на передачу данных с Python? Кто-то может помочь? 

const kickOffDataflow = (input, output) => {
var jobName = CONFIG.DATAFLOW_JOB_NAME;
var templatePath = CONFIG.TEMPLETE_FILE_PATH;
var request = {
    projectId: "test",
    requestBody: {
        jobName: jobName,
        parameters: {
            configFile: input,
            outputFile: output,
            mode: "cluster_test"
        },
        environment: {
            zone: "europe-west1-b"
        }
    },
    gcsPath: templatePath
}
console.log("Start to create " + jobName + " dataflow job");
return google.auth.getClient({
    scopes: ['https://www.googleapis.com/auth/cloud-platform']
}).then(auth => {
    request.auth = auth;
    return dataflow.projects.templates.launch(request);
}).catch(error => {
    console.error(error);
    throw error;
});

}

1 Ответ

0 голосов
/ 11 февраля 2019

Взгляните на Пример Dataflow Cloud Composer .В нем описывается, как Cloud Composer можно использовать в сочетании с Cloud Functions для запуска задания потока данных на основе Python при поступлении нового файла в корзину GCS.

...