Можно ли использовать Apache NiFi в качестве механизма потока данных для вычислений в базе данных MS SQL Server?

Question

Можно ли использовать Apache NiFi в качестве механизма потока данных для вычислений в базе данных MS SQL Server?

Другими словами, я хотел бы использовать Apache NiFi, как если бы я использовал Alteryx.

Например, могу ли я выполнить две или более процедуры MS SQL последовательно из Apache NiFi?

Можете ли вы предложить альтернативные инструменты?

Answer 1

В тарифе вы можете использовать NiFi для этого, но не идеально.

Apache NiFi поддерживает DBCPConnectionPool , и вы можете подключиться к preatty практически ко всем БД, имеющим JDBC-коннектор, и да, вы сможете запускать MS SQL proc последовательно.

DBCPConnectionPool Для установки требуется наличие jdbc jar на вашем сервере NiFi, и в настройках параметров вы можете использовать эти настройки

• URL-адрес подключения : jdbc: sqlserver: // ip: порт
• Класс драйвера : com.microsoft.sqlserver.jdbc.SQLServerDriver

• Расположение драйвера : /opt/nifi/external_libs/mssql-jdbc-6.2.2.jre8.jar

  Если у вас есть рабочая нагрузка типа ETL, то когда вы будете перекачивать большие объемы данных из одной точки в другую, когда сервер NiFi выполняет много операций ввода-вывода для больших файлов, я бы не рекомендовал NiFI.