Как создать задание Pig Latin в кластере Azure HDInsight - PullRequest
Новая
       117

Как создать задание Pig Latin в кластере Azure HDInsight

0 голосов
/ 28 мая 2020

Я только что создал бесплатную учетную запись для Azure и создал кластер has oop в HDInsight. Тем не менее, это никоим образом не показывает, как запустить клиент Pig, создать латинское задание свиньи и запустить его?

1 Ответ

1 голос
/ 29 мая 2020

К сожалению, вы не можете использовать пользовательский интерфейс Ambari для выполнения латинских заданий свиньи.

Примечание: Для обработки данных с помощью Pig необходимо открыть консоль S SH, подключенную к свой кластер, а затем запустите свинью латинскую в локальном режиме или режиме mapreduce:

Если вы используете клиентский компьютер Windows:

  1. На портале Microsoft Azure в колонке HDInsight Cluster для вашего кластера HDInsight щелкните Secure Shell, а затем в колонке Secure Shell в списке Hostname запишите имя хоста для вашего кластера (которое должно быть your_cluster_name-s sh .azurehdinsight. net).

  2. Откройте PuTTY и на странице сеанса введите имя хоста в поле «Имя хоста». Затем в разделе «Тип подключения» выберите S SH и нажмите «Открыть». Если отображается предупреждение системы безопасности о том, что сертификат хоста не может быть проверен, нажмите Да, чтобы продолжить.

  3. При появлении запроса введите имя пользователя и пароль S SH, которые вы указали при подготовке кластера (не имя пользователя для входа в кластер).

Если вы используете клиентский компьютер Ma c OS X или Linux:

  1. На портале Microsoft Azure в колонке HDInsight Cluster для кластера HDInsight щелкните Secure Shell, а затем в колонке Secure Shell в списке Hostname выберите имя хоста для вашего кластера. затем скопируйте отображаемую команду s sh, которая должна напоминать следующую команду - вы будете использовать ее для подключения к головному узлу. s sh sshuser@your_cluster_name-ssh.azurehdinsight.net

  2. Откройте новый сеанс терминала и вставьте команду s sh, указав свое имя пользователя S SH (не имя пользователя для входа в кластер).

  3. Если вам будет предложено подключиться, даже если сертификат не может быть проверен, введите «да».

  4. При появлении запроса введите пароль для имени пользователя S SH.

После подключения к кластеру запустите pig latin , как показано:

enter image description here

Вы можете выполнять операторы Pig Latin:

  • Используя оболочку grunt или командную строку
  • В режиме mapreduce или локальном режиме
  • В интерактивном или пакетном режиме

Каталожный номер: Руководство для свиней

...