Я создаю конвейер данных, который читает MySQL двоичные журналы в реальном времени, используя Maxwell Daemon , а Maxwell Daemon отправляет данные в потоки Redis. Я создал клиент, который потребляет данные из потоков Redis, обрабатывает их. В настоящее время я опрашиваю XREAD , используя бесконечное l oop с временем ожидания в несколько миллисекунд, чтобы потреблять данные из потока, но я считаю это неэффективным решением.
Я искал способ, где я могу каким-то образом подписаться на поток Redis и получать уведомления всякий раз, когда в поток добавляются новые записи, и натолкнулся на эту проблему GitHub, где они говорят об использовании Redis pub / sub вместе с потоками для достижения этой функциональности.
Есть ли более эффективный способ создания архитектуры этой системы?