Мой вариант использования для Облачного потока данных Google - использовать Redis в качестве кэша во время конвейера, поскольку преобразование зависит от некоторых кэшированных данных.Это будет означать выполнение команд Redis GET.В документации для официального встроенного преобразования ввода-вывода Redis упоминается поддержка нескольких методов:
read - "предоставляет источник, который возвращает ограниченную коллекцию PC, содержащую пары ключ / значение в виде KV"
readAll - "может использоваться для запроса сервера Redis с использованием входных элементов PCollection в качестве шаблона ключа (как String)"
Похоже, что readAll не соответствует команде GET, поскольку входная PCollection будет использоваться дляфильтровать результаты сканирования всего источника Redis, так что это не то, что я ищу.
Мне было интересно, есть ли что-то, чего мне не хватает при просмотре встроенного преобразования ввода / выводаэто включило бы мой вариант использования, или есть ли альтернативы, такие как сторонние преобразования ввода / вывода с открытым исходным кодом, которые поддерживают его.Или это что-то несовместимое с Apache Beam?