В настоящее время мы пытаемся найти способ извлечения большого количества данных из конечной точки API через блоки данных Azure.Мы надеялись, что многопроцессорная обработка сработает для Python, который мы уже написали, с небольшим рефакторингом на платформе Databricks, но не похоже, что он на самом деле поддерживает многопроцессорные библиотеки Python 3, так что при работе с нашим кодом мало что можно получить.эта платформа.Правильны ли мы, предполагая, что нам нужно повернуться к Pyspark или просто запустить scala для этой задачи, или есть лучшие альтернативы, на которые мы должны обратить внимание?