hive_context.sql("use caz_applied_ana") Вот код, который я использую в ноутбуке Jupyter

Я создал 2 RDD's, как показано ниже: rdd1 = sc.parallelize([(u'176',...

Я заметил, что мои коды pyspark вызывают ошибку памяти. Используя VirtualVM, я заметил моменты,...

У меня есть необработанный pyspark Dataframe со столбцом инкапсуляции.Мне нужно зациклить все...

Я относительно новичок в Spark, но я вижу, как оба метода запускают сеанс искры. Может кто-нибудь...

Мне нужно преобразовать следующее выражение scala в python: scala> a.join(b, a("key")...

Я пытаюсь решить проблему с пакетами Python PySpark.Я разработал пакет python, который имеет...

Как мы можем реализовать приведенную ниже логику в искре? Если значение столбца равно нулю, оно...

У меня есть json, который выглядит следующим образом: { "cols": [ "id",...

Я передаю функцию в Spark. Эта функция решает проблему оптимизации, которая занимает около половины...

У меня есть HadonWorks кластер HadonWorks с следующим: 8 ядер и 16 ГБ ОЗУ (Наменод, Мастер...

Во-первых, у меня есть две переменные в начале кода. numericColumnNames = []...

Я пытаюсь написать функцию flatMap на языке python в понимании списка! simpleRDD = sc

У меня проблема с большим объектом (400мл соленых), который мне нужно использовать в UDF. Объект...

У меня есть датафрейм в PySpark со строковым столбцом со значением...

У меня есть большое количество столбцов в кадре данных PySpark, скажем, 200. Я хочу выбрать все...

У меня есть следующий ряд в pyspark.Я хочу объединить его с фреймом данных pandas....

Я только начал свою поездку в Pyspark, создав модель логистической регрессии, которая предсказывает...

нужно быстрое предложение. У меня есть сжатый файл в формате S3 (размер 3 ГБ), и я пытаюсь...

У меня есть файл CSV, который хранится в формате hdf в следующем формате: Business Line,Requisition...

Подобно сжатию журналов Kafka, существует довольно много случаев, когда требуется сохранять только...

У меня расплавленный фрейм данных, который выглядит следующим образом: # +---+--------+----------+...

У нас есть две доступные версии Spark (1.6 и 2.1).Я установил переменные окружения (например,...

Я использовал df.printSchema() в pyspark, и это дает мне схему с древовидной структурой.Теперь мне...

Я пытаюсь создать схему для проверки GeoJSON загружаемых файлов: validSchema = StructType([...