Я только изучаю стек ELK, мы ищем возможности гибкого поиска для нашей аналитики DWH и визуализации. один сценарий, который я не могу понять, это то, как сохранить наши существующие данные, которые находятся на складе, для преобразования в документы.
например
наши транснациональные данные включают в себя device_ids с соответствующими состояниями, у нас есть30000 идентификаторов (приблизительно) в день по штатам. как столбцы «Таблица транзакций T1»: дата, идентификатор_устройства, тип, аварийный сигнал1, состояние, комментарии
столбец «таблица поиска» T2: идентификатор_устройства, идентификатор_пользователя
эти 30000 плюс идентификатор_устройства сопоставлены с 5000 (Приблизительно) пользователи, на основе того, что они могут видеть свое соответствующее состояние устройства.
Проблема заключается в том, что если я нормализую эту структуру в упругом поиске, то я получу 30000 * 5000 = 150 миллионов документов в день, что непуть идти наверняка.
Как и в RDBMS, вы продолжаете нормализовать структуру, чтобы минимизировать размер данных и эффективность загрузки, что бы мы могли смоделировать эти данные в упругом поиске, чтобы сохранить неизменным доступ на основе пользователя при конечном выводе в кибане. Я не знаю, как моделировать в упругом поиске.
Ценю ваш совет по этому вопросу.