Лазурь: обрабатывать 1000 000 капель.Какой сервис Azure мне выбрать?

Question

У меня есть 1000 000 капель.Мне нужно удалить пустые строки в их содержимом и перезаписать.Для достижения цели я планирую использовать:

1. Веб-задание Azure
2. DataFactory
3. Пакет Azure

Не могли бы вы дать мне немного?Посоветуйте, какой сервис лучше всего подходит для этого случая?

Answer 1

Кто-то уже предложил функции Azure. Я бы добавил к этому больше. Используйте функцию «Специально Azure Durable» и распараллеливайте задачи, которые называются веером / веером.

Все, что вам нужно, чтобы отследить, какой элемент Blob вы обработали. Это определенно будет дешевле и быстрее. Вы можете найти больше об этом здесь и пример, в котором конкретно рассказывается о распараллеливании задач для BLOB-объектов.

https://docs.microsoft.com/en-us/azure/azure-functions/durable/durable-functions-cloud-backup

Answer 2

Использование Функции Azure .

Простое создание необходимых приложений с помощью простых функций без сервера, которые масштабируются в соответствии с потребностями. Используйте язык программирования по вашему выбору и не беспокойтесь о серверах или инфраструктуре.

Фабрика данных - это служба интеграции данных, предназначенная для создания, планирования и управления интеграцией данных. Это , а не инструмент для удаления пустых строк в файлах.

Пакет Azure - это решение для высокопроизводительных вычислений, которое может раскрутить множество виртуальных машин. Это слишком много для удаления пустых строк из файлов.