Как отправить данные по TCP с помощью Apache Spark? - PullRequest
0 голосов
/ 07 апреля 2020

Мне нужно получить данные из сокета TCP, но для этого сначала мне нужно отправить сообщение с именем пользователя и паролем в формате «username | password | A» на сервер TCP. С обычной библиотекой сокетов от python я могу просто набрать '| password | C' в консоли и получить поток данных. Я мог бы сделать релейный TCP-сервер, но кажется, что это не лучший способ сделать это. Есть ли способ отправить данные TCP с помощью Apache Spark?

import pyspark
from pyspark.sql import SparkSession

sc = pyspark.SparkContext('local[*]')
spark = SparkSession.builder.appName("idxDataIngestion").getOrCreate()

socketDF  = spark.readStream.format("socket").option("host","172.31.2.76").option("port","9010").load()
#send TCP packet HERE with format like: "<username>|<password>|A"
socketDF.writeStream.format("console").start()
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...