Прямой инструмент Java / Groovy по сравнению с ETL (Talend / etc) - какие библиотеки вы бы использовали?

Question

Предположим, у вас есть небольшой проект, который на первый взгляд выглядит как подходящий инструмент ETL, такой как Talend.

Но предположим далее, что вы никогда не использовали Talend, и более того, вы не доверяете инструментам «визуального программирования» в целом и предпочитаете кодировать все старомодным способом (текст в хорошей IDE!) С помощью соответствующего библиотеки языков и поддержки.

Какие языковые шаблоны и библиотеки поддержки могут помочь вам избежать искушения / ловушки инструмента ETL?

Answer 1

Это зависит от того, является ли результат обработчиком или самим выходом. Если вам просто нужно доставить вывод, вам не нужно поддерживать код. Если код необходимо поддерживать, то будете ли вы его поддерживать или кто-то еще?

Если кому-то еще нужно поддерживать, я бы использовал Java или дал бы им Talend.

Если бы это был одноразовый код, я бы использовал то, с чем будет проще или веселее программировать.

Если вам нужно поддерживать его, а обработка сложная, я бы использовал Scala. Имеет:

• некоторые библиотеки для взаимодействия с базами данных
• XML-литералы
• парсер комбинаторов
• интересные функции в коллекционных пакетах (map, filter, groupBy, partition, ...)
• и, конечно, любые другие существующие библиотеки Java.

Answer 2

Выезд DataExpress . Это основанный на Scala инструментарий ETL для нескольких баз данных.

Answer 3

Раньше я думал, что «визуальное программирование» - это то, что нужно людям, которые не умеют программировать. Затем я познакомился с Talend в проекте и понял, что этот тип инструмента идеально подходит для работы, когда речь идет о перемещении данных из A в B и преобразовании их в процессе. Это компонентно-ориентированное проектирование программного обеспечения более академического лейбла.

Я все еще считаю себя приличным программистом, который может делать что угодно, а потом и кое-что, с помощью текстового редактора и приглашения оболочки. Но я также стал большим поклонником Talend.

Полное раскрытие: сейчас я работаю в компании: -)

Answer 4

Я думаю, что это очень хорошее соответствие для фреймворков, основанных на Rails, таких как Grails на Groovy или Lift на Scala.

Answer 5

В зависимости от размера схемы БД, вы можете очень быстро отобразить все в Hibernate и просто использовать полученную объектную модель для своей работы (в зависимости от того, какой инструмент ETL вам нужен в любом случае)