У меня есть поток текста, который может содержать эмодзи.Мне нужно извлечь его в массив в масштабе, близком к реальному времени, а затем сохранить его наasticsearch.этот поток передается в apache nifi примерно с 100 твиттами в секунду.
Какое наилучшее или лучшее решение / архитектура для этой цели?У меня есть пара идей, которые перечислены ниже.
A) создать веб-сервис для извлечения смайликов из входного текста, а затем отправить потоки nifi на него, а затем собрать ответ.
B) тот же предыдущий шаг, плюс использование apache kafka.
C) изменить архитектуру, чтобы использовать некоторые функцииApache Spark, Storm или Flink.
D) Пользовательское сопоставление Elasticsearch?