ETL с использованием Python

Question

Я работаю над хранилищем данных и ищу решение ETL, использующее Python.Я играл с SnapLogic в качестве ETL, но мне было интересно, есть ли какие-либо другие решения там.

Это хранилище данных только начинается.Я еще не принес никаких данных.Это будет легко более 100 гигабайт с исходным подмножеством данных, которые я хочу загрузить в него.

Answer 1

Да. Просто напишите Python, используя интерфейс DB-API для вашей базы данных.

Большинство программ ETL предоставляют модные «языки высокого уровня» или GUI с перетаскиванием, которые не очень помогают.

Python столь же выразителен и с ним легко работать.

Отказ от запутывания. Просто используйте старый добрый Python.

Мы делаем это каждый день, и мы очень, очень довольны результатами. Это просто, понятно и эффективно.