Могу ли я использовать Papermill и Scrapbook с ноутбуками EMR AWS?

Question

У меня есть несколько ноутбуков, которые управляются блокнотом «водителя» на бумажной фабрике. Эти записные книжки используют библиотеку записок для передачи информации водителю. Затем драйвер передает эту информацию в качестве параметров другим ноутбукам. Я хочу использовать ноутбуки EMR для оптимизации эффективности выполнения этого «конвейера ноутбуков». Поддерживает ли AWS EMR Notebooks записки и бумажную фабрику, или мне нужно будет провести рефакторинг моих ноутбуков?

Answer 1

На данный момент нет. Вы не можете сделать это напрямую. Однако вы можете сделать следующее (то, что мы делаем):

1. Создать среду python на вашем мастер-узле EMR, используя hadoop user
2. Установить sparkmagi c в вашей среде и настройте все ядра, как описано в файле README.md для sparkmagi c
3. Скопируйте записную книжку на главный узел / используйте ее непосредственно из местоположения s3

4. Установить бумажную фабрику и запустить на бумажной фабрике:

   бумажная фабрика s3: //path/to/notebook/input.ipynb s3: //path/to/notebook/output.ipynb -p param = 1