Инкрементное обновление корзин S3 без естественных ключей Мне нужно спроектировать поток etl

Мне нужно взять данные из базы данных Microsoft SQL Server (выбранные таблицы) в базу данных MySQL

Я прочитал здесь много связанных тем, но, похоже, не нашел решения.Вот мой сценарий: У меня есть...

Я написал несколько скриптов Python, которые загружают CSV-файлы с сотнями тысяч строк в базу...

Мой файл 'x' имеет различные входящие идентификаторы, и для каждого идентификатора может быть 1 или...

Я новичок в etl и работаю с talend.Мне дали этот документ, и мне сказали сделать «работу по...

Может кто-нибудь сказать мне, каковы последствия при попытке использовать обычную базу данных в...

Я работаю над загрузкой Informatica, где я загружаю 3 файла в таблицу, используя свойство сеанса...

В компании, в которой я работаю, одна из задач, которую я должен выполнить, - это написание...

В настоящее время я создаю задание, которое включает несколько параллельных заданий. Каждое...

Я создаю конвейер ETL, который использует различные источники и отправляет данные в Big Query

Я ищу некоторые рекомендации по разработке процесса ETL, которые можно использовать для извлечения...

Итак, у меня есть таблица транзакций (postgres), которая вставляет новую строку всякий раз, когда...

Я работаю в проекте, где иногда мне нужно перебирать подпапку, а иногда нет.Чтобы достичь своей...

Я разработал задание SSIS в Visual Studio 2017, предназначенное для Microsoft SQL Server 2016....

У меня есть 3 базы данных с: одинаковыми таблицами одинаковой схемой разными данными Я хочу...

Мы являемся государственной организацией и получаем данные от различных заинтересованных сторон,...

Я в процессе создания конвейера данных, который загружает данные из s3 в Amazon красное смещение, у...

Можно ли как-нибудь безопасно перезапустить Airflow веб-сервер и / или планировщик на сервере? Я...

Чем AirFlow отличается от инструмента FBP (Flow-Programming), такого как, например, Node-Red?...

Здесь у нас есть данные о кредитных и дебетовых платежах за две даты.Пожалуйста, сообщите мне...

У меня есть конвейер данных в Go с шагами A, B и C. В настоящее время это три двоичных файла.Они...

Я использую приведенный ниже код для создания оператора ввода SQL, который извлекает данные строка...

У меня есть один поток в Dataprep, который использует одну таблицу в Bigquery, схема этой таблицы...

У меня 30 миллионов строк CSV, которые создаются каждый месяц, я пытаюсь добавить 2 поля, которые...