У меня есть бэкэнд Python (Django), который должен запрашивать данные из озера данных 2-го поколения на основе HTTP-запросов и предоставлять результат в виде API для конечного пользователя в интерактивном режиме. Как я могу решить этот вариант использования?
Я пришел из базы данных и не очень знаком со всеми решениями для анализа данных, предоставляемыми облаком. Данные распределяются в виде множества структурированных файлов TSV. Я решил использовать озеро данных, чтобы использовать несколько функций, таких как разделение и быстрая обработка. Я планировал использовать U-SQL, но так как он обеспечивает только результат в выходном файле, который не так эффективен в моем случае.
Есть ли лучший подход для решения этой проблемы? Заранее спасибо.