Maven-зависимость для Spark's StreamingQuery

Question

У меня ошибка времени компиляции:

Невозможно разрешить символ 'spark'

Для следующего кода:

import org.apache.spark.sql.streaming.StreamingQuery;

I используйте InteliJ.

pom. xml:

...
<dependencies>
        <dependency>
            <groupId>com.sparkjava</groupId>
            <artifactId>spark-core</artifactId>
            <version>2.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.4.0</version>
        </dependency>
    </dependencies>

Редактировать:

Я заметил, что Мейвен жалуется на искру- sql зависимость:

Answer 1

Я могу подтвердить, что интерфейс org. apache .spark. sql .streaming.StreamingQuery существует в spark-sql_2.11: 2.4.0 с исходным кодом, доступным здесь: https://github.com/apache/spark/blob/v2.4.0/sql/core/src/main/scala/org/apache/spark/sql/streaming/StreamingQuery.scala

Я предполагаю, что ошибка компиляции связана с импортом в исходном коде, а не с каким-либо типом (вы не прикрепили исходный код файла, в котором произошла ошибка, поэтому я могу только предположить здесь)

Итак, с точки зрения разрешения:

1. попробуйте запустить mvn clean compile из командной строки без intelliJ. Если это удастся - проверьте интеграцию с IntelliJ (возможно, повторный импорт решит проблему).

2. Если это не так - отметьте pom.xml, возможно, вы обновили <dependencyManagement> раздел по ошибке.

3. Удалите банки искры из локального хранилища maven и повторите попытку, иногда возможно, что загруженная банка будет повреждена

Обновление 1 Поскольку теперь мы знаем, что mvn clean compile из командной строки выполняется успешно, это должно быть проблемой открытия проекта в intelliJ.

Поэтому я предлагаю сделать следующее:

1. Закрыть текущий проект: Файл -> Закрыть проект
2. Файл -> Открыть ... Теперь найдите папку проекта и (это важно) выберите pom.xml. IntelliJ спросит, хотите ли вы удалить ранее найденные файлы проекта - ответьте «да», и он перестроит структуры данных внутренних зависимостей. Затем попробуйте запустить программу и обновить, существует ли проблема.

Answer 2

«Spark Framework» на http://sparkjava.com/ не имеет ничего общего с Apache Spark . Удалите зависимость com.sparkjava (при условии, что она не нужна в других местах вашего проекта) и замените ее на

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.4.0</version>
</dependency>