AWS ElasticSearch с Lambda и S3 не добавляет документы в индекс

Question

У меня есть загадочная проблема: у меня есть лямбда-функция, которая переносит данные из корзины S3 в кластер AWS ES.Моя лямбда-функция работает правильно и сообщает следующее:

All 6 log records added to ES

Однако добавленные документы не отображаются в индексе AWS ElasticSearch / _ cat / indexes? V

health status index uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   logs  3N2O9CqhSwCP6sj1QK5EQw   5   1          0            0      1.2kb          1.2kb

Я использую эту лямбда-функцию https://github.com/aws-samples/amazon-elasticsearch-lambda-samples/blob/master/src/s3_lambda_es.js Роль лямбда-функции имеет полные разрешения для кластера ES и корзины S3.Он может получить доступ к корзине S3, потому что я могу распечатать содержимое в журнал консоли Lambda

Любые идеи для дальнейшей отладки приветствуются!

Приветствия

Answer 1

Может быть много причин для этого.так как вы спрашиваете об идеях для отладки, вот пара из них:

1. Добавьте метод console.log in postDocumentToES для лямбды, который показывает, где именно он соединяется

2. Попробуйте извлечь код из лямбды и запустить его локально, чтобы убедиться, что он успешно отправляется на упругий поиск (так, чтобы код был по крайней мере правильным)

3. Убедитесь, что в индексе нет «особых ограничений» (например, ttl на пару минут или что-то в этом роде) или, возможно, что-то, что не позволяет вставить в индекс.

4. Сколько у вас серверов ES?Возможно, имеется кластер из них, и репликация не настроена правильно, поэтому, когда вы проверяете состояние индекса в одном ES, у него фактически нет документов, но на другом сервере ES могут быть эти документы.