Использование веб-сервисов REST для ETL / Datawarehousing

Question

Кто-нибудь использовал подход на основе REST для операций ETL / Datawarehousing? Другими словами, при вызове заданий обновления ETL и OLAP / Database через вызовы веб-сервисов REST:

например. PUT http://company.com/cube/123523 (чтобы обновить определенный куб OLAP новыми данными) или POST http://company.com/view/patients/123123 (для создания нового представления базы данных для пациентов)

Мне кажется, что REST - это очень подходящий и чистый архитектурный стиль для моделирования таких ежемесячных задач ....

Answer 1

ETL - это вставка строк в базу данных очень, очень быстро (а иногда и очень, очень гибко, когда данные немного рискованные и требуют автоматической очистки).

REST означает использование всего HTTP, то есть использование всех глаголов и вообще юникод-образ жизни.

HTTP как протокол не очень быстрый. Это не двоичный файл (все, хотя я полагаю, что вы можете иметь двоичную полезную нагрузку)

ETL проблемы действительно ищут решения, которые зависят от источника данных. Ваш источник данных имеет собственный двоичный протокол? Используйте это, как правило, это самый быстрый.

Все это говорит о том, что источники данных заблокированы за портом 80. Такие вещи, как ADO.NET Data Services (Astoria) от Microsoft, уже прорабатывают детали API доступа к данным на основе REST. Я был бы удивлен, если бы это была высокая производительность, но, похоже, это было бы очень гибко.