Невозможно найти источник Кафки для подключения - PullRequest
Новая
       10

Невозможно найти источник Кафки для подключения

0 голосов
/ 10 апреля 2020

До сих пор у меня работала программа потокового воспроизведения искр.

Но вдруг, без всяких пыток, стало получаться 

Exception in thread "main" org.apache.spark.sql.AnalysisException: Failed to find data source: kafka. Please deploy the application as per the deployment section of "Structured Streaming + Kafka Integration Guide".;
    at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:652)
    at org.apache.spark.sql.streaming.DataStreamReader.load(DataStreamReader.scala:161)
    at sparkProject.XMLSparkStreamEntry.main(XMLSparkStreamEntry.java:47)
20/04/10 17:34:57 INFO SparkContext: Invoking stop() from shutdown hook
20/04/10 17:34:57 INFO SparkUI: Stopped Spark web UI at http://192.188.0.208:4040
20/04/10 17:34:57 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
20/04/10 17:34:57 INFO MemoryStore: MemoryStore cleared
20/04/10 17:34:57 INFO BlockManager: BlockManager stopped
20/04/10 17:34:57 INFO BlockManagerMaster: BlockManagerMaster stopped
20/04/10 17:34:57 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
20/04/10 17:34:57 INFO SparkContext: Successfully stopped SparkContext
20/04/10 17:34:57 INFO ShutdownHookManager: Shutdown hook called
20/04/10 17:34:57 INFO ShutdownHookManager: Deleting directory /tmp/spark-f6d3f105-5730-4e33-a35e-58cbf968a875

Не уверен, что случилось? Гугл посты говорит, что это может быть несоответствие в версиях банку. Но какие версии банок? 

Spark version: 2.4.4
Kafka Installed: 2.2.1 (sudo /opt/kafka/bin/kafka-topics.sh --version)

Вот мой пом. xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>
   <groupId>com.spark.app</groupId>
   <artifactId>spark-app</artifactId>
   <version>0.0.1-SNAPSHOT</version>
   <name>spark-project</name>
   <dependencies>
      <dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-core_2.12</artifactId>
         <version>2.4.4</version>
      </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>         
      <dependency>
         <groupId>com.google.code.gson</groupId>
         <artifactId>gson</artifactId>
         <version>2.8.0</version>
      </dependency>
      <dependency>
         <groupId>org.springframework</groupId>
         <artifactId>spring-context</artifactId>
         <version>4.1.6.RELEASE</version>
      </dependency>            
      <dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-sql_2.12</artifactId>
         <version>2.4.4</version>
      </dependency>    
      <dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-mllib_2.12</artifactId>
         <version>2.4.4</version>
         <scope>runtime</scope>
      </dependency>
      <dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-streaming_2.12</artifactId>
         <version>2.4.4</version>
         <scope>provided</scope>
      </dependency>
      <dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-hive_2.12</artifactId>
         <version>2.4.4</version>
         <scope>provided</scope>
      </dependency>
      <dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-catalyst_2.12</artifactId>
         <version>2.4.4</version>
      </dependency>
      <dependency>
         <groupId>org.apache.kafka</groupId>
         <artifactId>kafka-clients</artifactId>
         <version>2.2.0</version>
      </dependency>
      <dependency>
         <groupId>org.apache.kafka</groupId>
         <artifactId>kafka_2.12</artifactId>
         <version>2.2.0</version>
      </dependency>
      <dependency>
         <groupId>org.apache.kafka</groupId>
         <artifactId>kafka-streams</artifactId>
         <version>2.2.0</version>
      </dependency>
      <!-- https://mvnrepository.com/artifact/org.apache.kafka/connect-api -->
      <dependency>
         <groupId>org.apache.kafka</groupId>
         <artifactId>connect-api</artifactId>
         <version>2.2.0</version>
      </dependency>
      <dependency>
         <groupId>org.json</groupId>
         <artifactId>json</artifactId>
         <version>20180813</version>
      </dependency>
   </dependencies>
      <build>
      <pluginManagement>
         <plugins>
            <plugin>
               <artifactId>maven-jar-plugin</artifactId>
               <version>2.4</version>
            </plugin>
            <plugin>
               <artifactId>maven-clean-plugin</artifactId>
               <version>2.5</version>
            </plugin>
                    <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.5.1</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>
         </plugins>
      </pluginManagement>
   </build>
</project>

Может кто-нибудь, пожалуйста, помогите мне, что случилось? Если это проблема с jar-версией, как я узнаю, что нужно искать.

Несколько дней назад я запустил sudo apt-get upgrade, из-за того, что запустил свою программу. Это может быть проблемой?

Спасибо

...