Невозможно прочитать данные из Netcat с помощью искры - PullRequest
2 голосов
/ 09 апреля 2019

Я создал два разных файла Python.1 - для чтения данных из файла csv и отправки по серверу netcat.2- чтение данных с сервера net cat.

Я могу отправить данные на сервер net cat.Тем не менее, второй файл не может прочитать с помощью spark socketStream с сервера netcat.Интересно, что если я вручную введу данные через терминал netcat, программа сможет их прочитать.

#Client code:

import socket
import time

HOST = 'localhost'
PORT = 8888
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect((HOST, PORT))
i = 0
with open("Only-R80711-SC.csv", "r") as fo:
    for line in fo:
        if i <= 100:
            print(line)
            s.send(line.encode('utf-8'))
            i = i + 1
        else:
            i = 0
            time.sleep(0)
print("Done sending")
s.close()

#server code
from pyspark import SparkContext
from pyspark.streaming import StreamingContext

sc = SparkContext("local[2]", "NetworkWordCount")
ssc = StreamingContext(sc, 10)

lines = ssc.socketTextStream("localhost", 8888)

lines.pprint()
ssc.start()             # Start the computation
ssc.awaitTermination()  # Wait for the computation to terminate
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...