Я продолжаю получать сообщение, подобное этому, ДАЖЕ, ЧЕМ файл содержит много строк:
Путь к файлу чтения: file: /// C: /partition=1/a=2/MYFILE1.EXT, диапазон: 0-1399, значения раздела: [пустая строка]
Вот что я делаю: (в среде Windows)
1) У меня следующий код:
Dataset<Row> messages = spark.read().text(“/C:/partition=1/a=2/ZC_OR_CASE_CLASS_20180425_20180425_150248.EXT”);
Row first = messages.first()
Как только "первый" метод завершается, я получаю это сообщение. Впоследствии, когда я делаю messages.mapPartitions (…), это не входит в функцию; подразумевая, что раздел действительно пуст! Как я могу это исправить? Примечание : мне нужно, чтобы это работало, чтобы я мог отлаживать свою программу под IntelliJ.