Я планирую преобразовать некоторые из моих приложений в потоковые приложения Apache Beam.Все эти приложения читают из Кассандры и пишут в Solr и BigQuery.
Разъемы существуют для всех этих источников и приемников, и я прекрасно реализовал BigQuery и Solr, но разъема CassandraIO пока недостаточно.
ИтакУ меня есть вопрос, состоящий из нескольких частей: 1) Есть ли способ указать предикат в ваших операциях чтения с использованием коннектора CassandraIO?
Если да, то здесь конец!
2) Можно ли этого добиться?написав кастом Кассандра Сервис ?Мне было трудно следить за кодом, просматривая его.
3) Какие проблемы мне нужно знать, если использовать обычный драйвер Java Datastax из контекста Beam?
4) Любые известные проблемы, созданные для добавления этой функции в соединитель?
Для контекста, мой конвейер:
1) Считывает несколько подписок Pubsub, содержащих идентификаторы элементов (с другиминесвязанная информация), объединяется в одну PCollection.
2) Считывает все строки из Cassandra с использованием PCollection, содержащие идентификаторы
3) Выполните некоторую обработку возвращенных сущностей
Заранее спасибо!