Где я могу передать файл свойств в Datastage при использовании Kafka Connector - PullRequest
Новая
       74

Где я могу передать файл свойств в Datastage при использовании Kafka Connector

0 голосов
/ 17 июня 2020

Есть некоторые свойства, которые я хочу изменить, например, security.protocol с SASL_PLAINTEXT на SASL_SSL. Но коннектор Kafka в Datastage имеет очень ограниченное количество свойств (хост, использование kerberos, главное имя, keytab, topi c имя, группа потребителей, максимальное количество записей опроса, максимальное количество сообщений, время ожидания политики сброса и путь к классам)

При чтении этой документации самое первое, что нужно сделать, это передать файл конфигурации JAAS. Но у меня вопрос:

  1. Куда мне положить этот файл? На стороне Datastage или Kafka?

  2. Как я могу указать на этот файл?

Это то, что я пробовал :

  1. Добавлен before-job subroutine в Datastage и используйте следующую команду: 

    export KAFKA_OPTS="-Djava.security.auth.login.config=/etc/kafka/kafka_server_jaas.conf"

  2. Добавил -Djava.security.auth.login.config=/etc/kafka/kafka_server_jaas.conf в Kafka Client Classpath в свойствах Kafka Connector в Datastage

Но независимо от того, что я делаю, каждый раз, когда я запускаю задание, параметр security.protocol остается неизменным: 

Kafka_Connector_2,1: security.protocol = SASL_PLAINTEXT

Это означает, что он не читает файл свойств.

Вы сталкивались с подобной проблемой?

1 Ответ

1 голос
/ 21 июля 2020

Коннектор Kafka поддерживает SASL SSL Свойства коннектора Kafka Это было добавлено в JR61201 для 11.5 и доступно в 11.7.1.1

Если хотите чтобы вставить параметр JVM, такой как 

-Djava.security.auth.login.config=/etc/kafka/kafka_server_jaas.conf

Вы должны иметь возможность использовать переменную среды CC_JVM_OPTIONS .

...