Spark имеет функцию, позволяющую пользователям запускать операторы SQL в фрейме данных Spark. А что насчет Даска? Если его сейчас нет в наличии, рассматривается ли это?
Blazing SQL предоставляет распределенный механизм SQL в Python, который работает с файлами Parquet. Он построен на RAPIDS, поэтому для него требуются графические процессоры NVIDIA.
Presto / AWS Athena может быть ответом на ваш вопрос.