Структурированный искровой поток - foreach - PullRequest
0 голосов
/ 18 марта 2019

Я пользуюсь pyspark 2.3.Мне нужно прочитать поток данных и, в конце концов, записать его в Oracle.Я хочу использовать новый потоковый API, структурированный потоковый API.Насколько я знаю, в Stream DataFrame нет встроенного средства записи jdbc, которое я мог бы использовать.

Я пытался запустить метод foreach, а затем писать микропартии, но кажется, что foreachметод недоступен в pyspark 2.3.

Есть ли какой-либо способ использовать API структурированной потоковой передачи с pyspark 2.3 и чем записать DataFrame в oracle?

...