Итак, я создаю поток для импорта данных, чтобы некоторые столбцы агрегирования могли быть загружены в базу данных Azure Sql, а затем в табличную модель.Теперь я хотел бы описать поток, чтобы кто-то мог рассказать об этом, плюсы и минусы.
На данном этапе разработки поток:
1.
Импорт пользователейCSV-файл для моей веб-службы (в ASP.NET CORE 2.1) в базу данных Azure Sql, для импорта я использую Sql Bulk Library в .NET Core.Веб-сервис и база данных будут расположены на сервере в Azure.Некоторый импорт данных занимает около 20 минут.
2.
Когда импорт данных завершится, я звоню в веб-службу машинного обучения Azure, которая позже вычислит вспомогательные столбцы с запросами MDX.может извлечь данные из табличной модели более легко и эффективно.Эти вспомогательные столбцы сообщают, были ли пользователи активны в предыдущем месяце или нет, например.
3.
Когда сценарий R завершает вычисления, он обновляет таблицу базы данных Azure Sql новыми столбцами.
4.
Когда столбцы обновляются в базе данных, я говорю службе анализа Azure обновить базу данных (не в основной версии .net, поскольку она не поддерживает ADOM.NET). Итак, я создандругой веб-сервис (.NET 4.7), чтобы я мог из веб-сервиса автоматически обновлять его.
5.
Итак, наконец, новые данные появляются в табличной модели, поэтому я могу получать информацию о данных, используяMDX-запросы с библиотекой ADOM.NET.
Скажите, пожалуйста, есть ли лучшее решение для этого потока.