Копирование библиотек tar.gz работникам apache -beam - PullRequest
Новая
       33

Копирование библиотек tar.gz работникам apache -beam

0 голосов
/ 17 апреля 2020

Я надеюсь, что у вас все хорошо. Я хотел бы скопировать библиотеку инструментов на рабочие машины и использовать файл setup.py. Я обновил CUSTOM_COMMANDS: 

 CUSTOM_COMMANDS = [
  ["wget", "-O", "/usr/local/sratoolkit.tar.gz","http://ftp-trace.ncbi.nlm.nih.gov/sra/sdk/current/sratoolkit.current-centos_linux64.tar.gz"],
  ["tar", "-xzf", "/usr/local/sratoolkit.tar.gz","-C","/usr/local/"]]

Когда я ищу исполняемые файлы в папке / user / local, я не могу найти инструменты, которые я скопировал на рабочий. Как правильно и просто скопировать библиотеки инструментов на рабочие машины? Мне удалось получить ожидаемое поведение локального бегуна, и теперь нужно найти правильный способ воспроизвести его для бегуна потока данных.

Я использую python 3.5 с последней apache - луч 2.20 и последний поток данных Большое спасибо, eilalan

1 Ответ

1 голос
/ 17 апреля 2020

Рабочие машины настраиваются отдельно и могут не иметь возможности загружать файлы через inte rnet.

Один из способов сделать это - загрузить файлы вручную в gcs, используя gsutil cp -r /mytools gs://my-bucket/mytools, а затем скопировать все файлы в качестве первой пользовательской команды, используя gsutil cp -r gs://my-bucket/mytools /mytools

, а затем выполнить соответствующие пользовательские команды. ,

...