badRecordsPath в EMR + Apache Spark

0 голосов

S Ganguly / 05 мая 2020

• 1000 Я использую EMR + Spark. Я знаю, что в Databricks Spark distribution есть опция около badRecordsPath , но я не могу найти то же самое в Spark в EMR.

apache--spark
amazon-emr
блоки-данных

Пожалуйста, войдите или зарегистрируйтесь чтобы ответить на этот вопрос.

Ответы [ 0 ]

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.

Похожие темы

Как напечатать операторы внутри функции, примененной к Spark RDD?
Как использовать конфигурацию Spark задания Databricks spark_conf?
Могу ли я запустить Jupyter Notebook вместо Databricks?
Попытка преобразовать объект «org. apache .spark. sql .DataFrame» в pandas dataframe приводит к ошибке «name 'dataframe' is not defined» в Databricks
Использование широковещательной переменной в блоках данных искры с python UDF
Databricks - журналы установки библиотеки
Столбец Dataframe для отображения порядка сохранения в Pyspark
Постройте иерархию из реляционного набора данных с помощью Pyspark
SQL запрос занимает слишком много времени в azure блоках данных
Как я могу реализовать модель ARIMA с помощью Pyspark для прогнозирования?

...