Использование python с Flink 1.8.0 и Kafka - PullRequest
Новая
       46

Использование python с Flink 1.8.0 и Kafka

0 голосов
/ 27 июня 2019

Обучение использованию Flink (1.8.0) с Python, попытка прочитать тему Кафки. Использование кода из Apache Flink: соединитель Kafka в потоковом API Python, «Не удается загрузить класс пользователя» похоже, не работает с этой версией.

Я также поместил следующие файлы jar в каталог lib: force-shading-1.8.0.jar, flink-connector-kafka-base_2.11-1.8.0.jar, flink-connector-kafka_2.11-1.8 .0.jar, kafka-clients-2.0.1.jar, lz4-java-1.4.1.jar, snappy-java-1.1.7.1.jar 

import glob
import os
import sys
from java.util import Properties
from org.apache.flink.streaming.api.functions.source import SourceFunction
from org.apache.flink.streaming.api.collector.selector import OutputSelector
from org.apache.flink.api.common.serialization import SimpleStringSchema

directories=['/opt/flink-1.8.0/lib']
for directory in directories:
    for jar in glob.glob(os.path.join(directory,'*.jar')):
                sys.path.append(jar)

from org.apache.flink.streaming.connectors.kafka import FlinkKafkaConsumer09

выдает ошибку 

Failed to run plan: null
Traceback (most recent call last):
   File "<string>", line 1, in <module>
   File "/tmp/flink_streaming_plan_711cd057-6fbc-445f-a669-bb7a01e72d48/test01.py", line 16, in <module>
ImportError: No module named connectors

Почему недоступны org.apache.flink.streaming.connectors?

...