Мне нужно получить данные из сокета TCP, но для этого сначала мне нужно отправить сообщение с именем пользователя и паролем в формате «username | password | A» на сервер TCP. С обычной библиотекой сокетов от python я могу просто набрать '| password | C' в консоли и получить поток данных. Я мог бы сделать релейный TCP-сервер, но кажется, что это не лучший способ сделать это. Есть ли способ отправить данные TCP с помощью Apache Spark?
import pyspark
from pyspark.sql import SparkSession
sc = pyspark.SparkContext('local[*]')
spark = SparkSession.builder.appName("idxDataIngestion").getOrCreate()
socketDF = spark.readStream.format("socket").option("host","172.31.2.76").option("port","9010").load()
#send TCP packet HERE with format like: "<username>|<password>|A"
socketDF.writeStream.format("console").start()