IBM SQL Query использует схему при чтении. Он выполняет вывод схемы для каждого набора данных, на который ссылается запрос SQL. IBM SQL Query использует Apache Spark в качестве механизма выполнения, который также используется для вывода схемы.
В случае данных CSV (а также при запросе данных JSON) этот вывод схемы включал сканирование значений данных для получения типов данных для каждого столбца. Когда ваши объемы данных становятся больше, и вы хотите оптимизировать производительность ваших SQL, рекомендуется хранить ваши данные в немного более сложных форматах, таких как паркет, в котором метаданные сочетаются со значениями данных. Вывод схемы очень эффективен и быстр в этом случае, потому что IBM SQL Query нужно только прочитать нижний колонтитул паркета, чтобы получить схему ваших данных.
Этот эффект становится еще более очевидным, когда вы хотите запрашивать большие наборы данных, которые распределены по нескольким разделам объектов в хранилище объектов. В этом случае запрос IBM SQL действительно должен только извлечь один из объектов паркета (то есть один из разделов) и прочитать его нижний колонтитул, чтобы вывести схему для всего набора данных.