У меня 2 java программы:
- В одной java программе у меня есть серверный сокет, ожидающий от второй java программы соединения. Когда соединение приходит, первая java программа читает csv и посылает его построчно через сокет во вторую java программу.
- Вторая java программа - это потоковая структурированная искра.
Мой вопрос: как мне узнать схему csv для выполнения операций в потоковой потоковой структуризации? Спасибо!
Программа TCP :
ServerSocket ss = new ServerSocket(3434);
Socket socket = ss.accept();
BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(socket.getOuputStream()));
BufferedReader reader = new BufferedReader(new FileReader(("tmp.csv")));
while((line = reader.readLine()) != null)
{
writer.write(line);
}
Вторая JAVA программа со структурой потоковой передачи Spark :
SparkSession sp = SparkSession.builder().appName("MyApp").master("local[*]").getOrCreate();
Dataset<Row> line = sp.readStream().format("socket").option("host", "localhost").option("port", 3434).load();
Но как мне найти схему из строки?
CSV Schema
----------
Date Amount Op
12/10/2018 14 "e43t"
13/10/2019 12 "as30p"