Я получаю файл от API, который имеет закодированное (не ascii) символьное значение в 3 столбцах

Я установил Airflow на моей машине, которая работает хорошо, и у меня также есть локальная искра...

Я работаю над проектом в Spark Scala. Могу ли я получить статистику таблицы таблицы Hive в...

У меня есть данные, как показано ниже, и мне нужно отделить их на основе "," I/p file : 1,2,4...

У меня есть 100s файла журнала, которые разделены alternation '|', похоже, это примерно с...

Я пытаюсь перезаписать файл CSV, используя write.mode("overwrite")

Spark 1.6 scala Как сохранить вывод в csv-файл spark 1.6. Я сделал что-то подобное. myCleanData

У меня есть «Структурированные данные», как показано ниже, мне нужно преобразовать их в показанный...

Я обучаю и сохраняю модель XGBoost, как показано ниже: Версия XGBoost 0.82 Версия Spark 2.4.2...

Мне нужно инициализировать некоторые .so lib с System.load () в функции UDF, его можно загрузить...

Я что-то делаю с Spark-SQL и получил ошибку ниже: YarnSchedulerBackend $ YarnSchedulerEndpoint:...

Я разрабатываю часть spark (v2.4.3), которая читает эластичный поиск (v7.3.0) на подпружиненной...

Я пытаюсь понять, как Spark управляет задачами на сцене. Рассмотрим этот сценарий: У нас есть...

Моя таблица хранится в pyspark в блоках данных.Таблица имеет два столбца id и text.Я пытаюсь...

Я использую Spark 1.6 Приведенный ниже udf используется для очистки данных адреса. sqlContext.udf

Я пишу программу для анализа SQL-запросов.Поэтому я использую логический план Spark. Ниже приведен...

Довольно плохо знаком с scala. У меня есть оператор if else, который на основе условия присваивает...

Мне нужно взять карту [String, DataFrame] и преобразовать ее в набор данных [Map [String, Array]]...

У меня есть несколько CSV-файлов с одинаковыми заголовками и одинаковыми идентификаторами.Я пытаюсь...

Я пытался создать фрейм данных Apache Spark val valuesCol = Seq(("Male"...

Я пытаюсь вернуть пользовательский код завершения из моего приложения spark с System.exit (errCode)...

Будет ли экземпляр Аккумулятора для каждой микропакета или один единственный экземпляр для всех...

Я практикую проблему со Spark, используя Scala, и у меня есть таблица футбольной лиги со столбцами...

Мы знаем, что установка parquet.block.size в качестве размера блока HDFS рекомендуется, но это...

Я получаю файл от API в формате .csv, один из столбцов адреса содержит кодированные значения, такие...