Я использую Azure фабрику данных для чтения файлов паркета из хранилища файлов ( Учетная запись хранилища v2 ) для некоторой очистки потока данных.
По какой-то причине набор данных не распознает, что первая строка является строкой заголовка. Таким образом, когда я go в "схему"> "импортирую схему"> "из подключения / хранилища", я вижу все имена столбцов как Prop_0, Prop_1, et c, и когда я открываю образец данных, первая строка, которую я вижу это тот, который показывает правильный файл заголовка (одна оговорка: первый символ в первом столбце - «#»; я не знаю, оказывает ли это какое-либо влияние).
Кроме «Импортировать схему» и «Очистить» Я не вижу другой возможности сообщить Azure, что первая строка является заголовком.
Когда данные представляют собой CSV-файл, набор данных может идентифицировать схему правильно, но не с паркетами.
Что мне здесь не хватает? Нужно ли отфильтровывать файл 1-й строки и форсировать схему или есть опция, которую я где-то пропускаю?