Как создать Spark для запуска скрипта Scala в HDInsight?

Question

Я хочу выполнить скрипт Scala, используя HDInsight. Ниже в статье описывается запуск скрипта py, но не упоминается о Scala. Я следовал за статьей (вместо py-файла, загруженного файла Scala), но Azure DataFactory не удалось выполнить с сообщением об ошибке:

({
    "errorCode": "2312",
    "message": "Spark job failed, batch id:4",
    "failureType": "UserError"
}

https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-spark

Answer 1

Если вы хотите выполнить искровой код, написанный на scala, вам нужно вызвать файл Jar , Если это слишком сложно, то вы также можете использовать блокнот данных блокнота. Дайте мне знать, если у вас возникнут проблемы

Answer 2

Чтобы решить вашу проблему, вам нужно

1. Откройте свой конвейер в АПД
2. Нажмите на свою искру деятельности
3. Перейти к скрипту / банке, открыть Advanced
4. Установить информацию об отладке для вашей активности на Всегда.

Хотя вы сможете просматривать журналы после сбоя конвейера. Adf предоставит вам ссылку на ваши журналы. Он будет находиться в связанном хранилище в директории log в корне вашей фляги.

Изучите журналы, чтобы понять, что приводит к сбою приложения Spark. См. Изображение из ADF