AWS EMR S3 Hive - PullRequest
       49

AWS EMR S3 Hive

0 голосов
/ 05 марта 2019

Я следую инструкциям из книги «Визуализация больших данных»,

см. https://www.amazon.com/Big-Data-Visualization-James-Miller/dp/1785281941

В основном, выполняются следующие шаги:

a) Загрузка большого текстафайл в каталог S3 / bigdatavizproject1 / Input

b) Использование AWS EMR для запуска сценария HiveSQL с помощью (Добавить шаг)

c) Его вывод должен быть в каталоге S3 / bigdatavizproject1 / Output

См. https://i.imgur.com/reqoHKH.png

HiveSQL выглядит следующим образом:

CREATE TABLE thebigdatableable (logrecord VARCHAR (550));ЗАГРУЗИТЬ ВХОДНЫЕ ДАННЫЕ s3: // bigdatavizproject1 / Input / weblog1 -2016_08_27_03.txt 'INTO TABLE thebigdatatable;выберите substr (ltrim (rtrim (logrecord)), 20, 3) из thebigdatatable;

Но я не вижу никаких выходных данных из выходного каталога S3.

https://i.imgur.com/iPAaXJf.png показывает состояние завершения.Когда я нажимаю «Просмотр вакансий», ничего не получается.

Буду благодарен за любые комментарии.Спасибо

...