Дайте схему в данных, поступающих от TCP-сокера в потоковой передаче искры - JAVA - ИСКРА - PullRequest
0 голосов
/ 10 января 2020

У меня 2 java программы:

  • В одной java программе у меня есть серверный сокет, ожидающий от второй java программы соединения. Когда соединение приходит, первая java программа читает csv и посылает его построчно через сокет во вторую java программу.
  • Вторая java программа - это потоковая структурированная искра.

Мой вопрос: как мне узнать схему csv для выполнения операций в потоковой потоковой структуризации? Спасибо!

Программа TCP :

ServerSocket ss = new ServerSocket(3434);
Socket socket = ss.accept();
BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(socket.getOuputStream()));
BufferedReader reader = new BufferedReader(new FileReader(("tmp.csv")));
while((line = reader.readLine()) != null)
{
    writer.write(line);

}

Вторая JAVA программа со структурой потоковой передачи Spark :

SparkSession sp = SparkSession.builder().appName("MyApp").master("local[*]").getOrCreate();
Dataset<Row> line = sp.readStream().format("socket").option("host", "localhost").option("port", 3434).load();

Но как мне найти схему из строки?

CSV Schema
----------
Date        Amount   Op
12/10/2018  14       "e43t"
13/10/2019  12       "as30p"
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...