У меня ежедневно публикуются данные журнала мобильных приложений (в конечном итоге это будет поток данных). Я смотрю на различные решения для обработки этих данных журнала и обеспечения аналитики. Я рассматриваю возможность использования комбинации logstash /asticsearch / kibana, но у нас есть дополнительные данные о наших пользователях, которые хранятся в базе данных красного смещения. Таким образом, в дополнение к мобильным данным, я хотел бы получить дополнительные данные из красного смещения о пользователе во время взаимодействия с мобильным приложением.
Однако в некоторых местах я читал, что выполнение реального запроса к базе данных через logstash невозможно, но вы можете использовать файл словаря для поиска каждого пользователя.
У меня есть два вопроса относительно этого подхода
- Есть ли ограничение на размер этого файла поиска? У меня будет <500K записей, поэтому я думаю, что все будет в порядке? </li>
- Может ли процесс создания файла подстановки из таблиц красного смещения быть полностью автоматизированным (в идеале, хотя это службы aws) - т.е. каждую ночь таблица подстановки обновляется и публикуется в logstash, а затем используется для обсуждения в Kibana
То, как мы сейчас это делаем, - это обработка ежедневного файла jason с помощью лямбда-функции, размещение его на s3 и последующее чтение в таблицу красных смещений. Эти данные затем обрабатываются в сеансы и объединяются с другими таблицами для генерации окончательного набора данных, который будет использоваться для визуализации. В настоящее время это делается в Таблице, но мы изучаем другие варианты (например, quicksight или, возможно, стек ELK)
Просто пытаюсь выяснить, какое решение будет масштабируемым для данных о потоках кликов и будет наиболее полезным в дальнейшем.
Спасибо!