Когда вы читаете о Kafka и о том, как получить данные из Kafka в запрашиваемую базу данных, подходящую для какой-то конкретной задачи, обычно упоминаются приемники Kafka Connect.
Это похоже на то, что нужно сделать, если мне понадобится Kafka для поиска в индексировании, например ElasticSearch, или в аналитике, такой как Hadoop, в Spark, где есть приемник Kafka Connect.
Но мой вопрос заключается в том, как лучше всего обращаться с магазином, который не так популярен, скажем, MyImaginaryDB, где единственный способ, которым я могу получить к нему доступ, - это через некоторый API, и данные должны обрабатываться безопасно и надежно, а также прилично трансформируется перед вставкой? Рекомендуется:
- Просто используйте API для Kafka и используйте драйвер MyImaginaryDB для записи
- Узнайте, как создать собственный приемник Kafka Connect (при условии, что он может обрабатывать схемы, аутентификацию / авторизацию, повторные попытки, отказоустойчивость, преобразования и постобработку, необходимые перед посадкой в MyImaginaryDB)
Я также читал о Kafka KSQL и Streams, и мне интересно, поможет ли это с преобразованием данных перед их отправкой в конечное хранилище.