Написать в Google Compute экземпляр с использованием Apache Spark

Question

У меня есть 4-х узловый кластер hadoop с установленной на нем версией spark 2.2.0. Я хочу переместить файлы из моего локального кластера в экземпляр Google Compute Engine. Любая идея, как это сделать с помощью Apache Spark? Любая помощь высоко ценится! Заранее спасибо.

Answer 1

Существуют различные опции для передачи файлов в экземпляры Compute Engine [1].

Это видео [2] поможет понять, как перенести рабочие нагрузки Spark и Hadoop в GCP.

[1] https://cloud.google.com/compute/docs/instances/transfer-files

[2] https://www.youtube.com/watch?v=NfxvjWSgplU