У меня есть DataFrame df со столбцом, который содержит значения Double. Мне удалось вычислить...
Я пытаюсь запустить локальный jar-файл с помощью spark-submit, который работает отлично. Вот...
Я соединяю базу Couch со Scala через оболочку scala. Однако возникает следующая ошибка. (Искра: 2,2...
я использую сервис databricks через мою лазурную подписку. Я также развернул neo4j DB через Azure....
Я хотел бы уменьшить значения определенного столбца в кадре данных на основе предварительно...
Изначально у меня есть матрица 0.0 0.4 0.4 0.0 0.1 0.0 0.0 0.7 0.0 0.2 0.0 0.3 0.3 0.0 0.0 0.0...
Как я могу определить макрос scala, который преобразует структурный тип spark, например, val foo =...
Например, это содержимое файла: 20,1,helloworld,alaaa 2,3,world,neww 1,223,ala,12341234 Требуемый...
Мне нужно асинхронно вычислить набор функций, которые могут иметь несколько зависимостей друг от...
как обрабатывать недостающие типы объектов JSON при чтении JSON в DF в искре в класс case case...
Учитывая модель данных (
Я хотел бы преобразовать двойное значение, например 1.1231053E7, в 11,231,053.0 в Scala. В...
Поскольку Hive хранит данные в распределенном виде, какой запрос будет более эффективным из числа...
У меня есть следующий DataFrame df +-----------+-----------+-----------+...
Я использую макросы, и я хотел бы проверить во время компиляции, содержит ли созданный класс...
Я хотел бы использовать NumberFormat для преобразования Double в String.В настоящее время я...
Я использую Spark 2.3.0, Scala 2.11.8 и Kafka, и я пытаюсь записать в файлы паркета все сообщения...
Мне нужно преобразовать следующее выражение scala в python: scala> a.join(b, a("key")...
Я пишу Spark Scala-приложение с SBT, и когда я просто запускаю его как Scala-приложение, оно...
Кто-нибудь может объяснить, как обрабатываются асимметричные данные для Apache spark? Сценарий: Мы...
Каков наилучший способ реализации ROW_NUMBER (генератор последовательности) в программе Spark для...
Я хочу получить нечто похожее на http://benfradet.github
Я изучаю scala-spark и хочу знать, как мы можем извлечь необходимые столбцы из неупорядоченных...
У меня есть датафрейм, df.show () примерно так: +-----------+-------------------+ |id| name|...
Каждый подход, который я пробовал, оставляет мне сумму всего столбца.У каждой строки есть массив,...