Я новичок в области инженерии данных и хочу создать конвейер данных для моего личного проекта или использования.
Цель состоит в том, чтобы создать веб-панель мониторинга или внутрисистемную, но совместно используемую панель управления из данных, которые у меня есть в формате файла csv.
Я хотел знать, какие технологии или инструменты мне следует использовать для построения конвейера данных.
Архитектура:
1. Извлечение данных из csv файла
2. Уборка, если есть необходимость
3. Обновление дашборда в соответствии с приемом данных
Примечание:
1. Размер данных будет до 5000 строк или наблюдений
2. Каждый день файл csv обновляется с добавлением новой строки, а иногда также обновляются предыдущие строки.
Я открыт для любых предложений и открыт для использования любых технологий при условии, что они просты в использовании.
Кроме того, я хочу выполнить задачу очистки в Python, поскольку это единственная известная мне технология.