Я использую C # и драйвер SparkSQL ODBC от Hortonworks для чтения из SparkSQL. Я обнаружил следующую ошибку:
ОШИБКА [HY000] [Hortonworks] [Hardy] (35) Ошибка сервера: код ошибки: «0» сообщение об ошибке: «org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7 (класса org.apache. spark.ml.linalg.VectorUDT).
Ниже приведен снимок экрана простого запроса выбора для целевой таблицы с использованием HiveView2:
Я проверил отображение типов спецификации драйвера Hortonworks и обнаружил следующее:
Я ожидал, что драйвер отобразит неизвестные типы в виде строки, но выдает указанную ошибку.
Я не знаю, куда идти отсюда. Есть ли способы указать пользовательское сопоставление типов? есть ли обходные пути? Зная, что мы стараемся избегать предварительной обработки таблицы перед ее сохранением в Spark.
Примечание. Я использую Spark 2.1 в кластере HDInsight.