Анализ осуществимости преобразования данных с использованием любого инструмента ETL

Question

У меня нет опыта работы с инструментами ETL. Однако я хочу знать, возможно ли выполнить следующие действия, используя любой инструмент ETL, или нам нужно написать Java или любое другое пакетное задание, чтобы сделать это:

Сценарий 1: ИсточникСистема имеет разные REST API. Мне нужно получить данные, преобразовать их, а затем сохранить данные в MongoDB. Самое сложное - это трансформация. Может возникнуть ситуация, когда мне нужно вызвать REST API источника, и на основании его данных мне нужно вызвать несколько других REST API с использованием данных 1st API. После этого нам нужно отформатировать все данные в другом формате и сохранить их в Mongo.

Сценарий 2: Исходная система имеет БД. Мне нужно преобразовать данные, используя мою собственную логику и сохранить ее в MongoDB. Здесь пользовательская логика может включать в себя такие вещи: Из таблицы1 источника я создал collection1. После этого мне нужно обратиться к table2 и ранее созданному collection1, обработать данные и затем создать collection2.

Возможно ли это с помощью какого-либо инструмента ETL? Если возможно, то какой инструмент? Если возможно, пожалуйста, кратко опишите, как это можно сделать, используя различную терминологию, чтобы я мог искать в Интернете, изучать вещи и реализовывать их.

Answer 1

Вкратце: да, именно для этого предназначены инструменты ETL. Вы можете извлекать данные из источников REST, преобразовывать, используя сложную логику, и загружать в цель, например MongoDB.

Точная реализация зависит от инструмента. Хотя я полагаю, что вы получите помощь, если столкнетесь с проблемами при реализации решения в любом из этих инструментов, я не думаю, что кто-то подготовит для вас полные, подробные решения.