AWS devendpoint Zepelin Notebook без редактора сценариев - PullRequest
0 голосов
/ 20 мая 2018

У меня возникла дилемма: сделать файл .json в формате, который необходимо загрузить в AWS Redshift.Я следовал этим статьям, чтобы продолжить:

https://aws.amazon.com/blogs/big-data/simplify-querying-nested-json-with-the-aws-glue-relationalize-transform/

https://github.com/aws-samples/aws-glue-samples/blob/master/examples/join_and_relationalize.md

Как часть инструкций в обеих статьях, DevEndpoint ноутбук должен быть запущен.Мне удалось его создать, однако я не могу выполнить какие-либо запросы, потому что не могу найти какой-либо редактор скриптов, как показано ниже.

Пожалуйста, нажмите, чтобы увидеть изображение проблемы

Мне не хватает какой-либо конфигурации?

Мне нужно преобразовать файлы JSON, и я даже не на полпути к этому.

1 Ответ

0 голосов
/ 21 мая 2018

Как вы настроили конечную точку разработки?Это AWS Glue, предоставленный сервером Dev Endpoint, или ноутбук с локальной установкой?Может помочь с вашей проблемой, если будет предоставлена ​​дополнительная информация.

В любом случае, пожалуйста, обратитесь здесь и по настройке zeppelin в windows , за любой помощью по настройке локальной среды разработки.& zeppelin notebook.

После настройки ноутбука zeppelin установите соединение SSH (с помощью AWS Glue DevEndpoint URL), чтобы вы могли иметь доступ к каталогу данных / сканерам и т. д., а также к S3ведро, где ваши данные находятся.Затем вы можете создать свои скрипты на python в записной книжке zeppelin и запускать из zeppelin.

Вы можете использовать экземпляр dev, предоставляемый Glue, но вы можете понести дополнительные расходы на него (плата за экземпляр EC2).

Настройки среды (обновляется в ответ на комментарии):

JAVA_HOME=E:\Java7\jre7
Path=E:\Python27;E:\Python27\Lib;E:\Python27\Scripts;
PYTHONPATH=E:\spark-2.1.0-bin-hadoop2.7\python;E:\spark-2.1.0-bin-hadoop2.7\python\lib\py4j-0.10.4-src.zip;E:\spark-2.1.0-bin-hadoop2.7\python\lib\pys
park.zip
SPARK_HOME=E:\spark-2.1.0-bin-hadoop2.7

Измените имя / папки диска соответственно.Дайте мне знать, если нужна помощь.

С уважением

...