Я только начинаю импортировать дампы SQL и ответы API из одной из систем. Но я понял, что эти дампы данных и ответы API будут постоянно содержать одну и ту же информацию, но также:
- некоторые данные могут обновляться (например, таблицы с данными пользователя и last_login_time)
- некоторые данные могут быть удалены (пользователь удалил свою учетную запись)
- некоторые данные могут быть добавлены (добавлены новые пользователи).
Как мне справиться с этим в ES? sincedb_path не помогает вообще, это полезно только для потоковой передачи данных. Даже если однажды обнаружилось, что дамп SQL имеет только одну запись, фильтры не сработали, потому что logstash пытался использовать фильтры только для новых данных. Зачем? Поскольку dump имеет формат JSON, и фильтры сначала запускают модуль split, который, очевидно, не работает только с тем крошечным фрагментом данных, который изменился.
Есть идеи?