Я создал два разных файла Python.1 - для чтения данных из файла csv и отправки по серверу netcat.2- чтение данных с сервера net cat.
Я могу отправить данные на сервер net cat.Тем не менее, второй файл не может прочитать с помощью spark socketStream с сервера netcat.Интересно, что если я вручную введу данные через терминал netcat, программа сможет их прочитать.
#Client code:
import socket
import time
HOST = 'localhost'
PORT = 8888
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect((HOST, PORT))
i = 0
with open("Only-R80711-SC.csv", "r") as fo:
for line in fo:
if i <= 100:
print(line)
s.send(line.encode('utf-8'))
i = i + 1
else:
i = 0
time.sleep(0)
print("Done sending")
s.close()
#server code
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
sc = SparkContext("local[2]", "NetworkWordCount")
ssc = StreamingContext(sc, 10)
lines = ssc.socketTextStream("localhost", 8888)
lines.pprint()
ssc.start() # Start the computation
ssc.awaitTermination() # Wait for the computation to terminate