В настоящее время я использую spark для написания моей модели размерных данных, и сейчас мы загружаем jar в кластер AWS EMR для тестирования. Однако, это утомительно и требует много времени для тестирования и построения таблиц.
Я хотел бы знать, что делают другие, чтобы ускорить свое развитие. Возможности, с которыми я столкнулся в своем исследовании, - это запуск искровых заданий непосредственно из IDE с Intellij Idea, и я хотел бы узнать о других процессах разработки, которые используются там, где они быстрее развиваются.