Как лучше всего JavaScript искать ключевые слова в файлах .txt, хранящихся в AWS S3?

Question

Я хотел найти ключевые слова без учета регистра в файлах .txt, хранящихся в AWS S3. У меня есть около 4k-5k .txt файлов на AWS s3, в которых я хотел искать ключевые слова.

Я пытался искать ключевые слова, загружая каждый файловый буфер и применяя метод JavaScript contains () к каждому буфера. Это дает мне результаты, но очень медленно.

Тогда я подумал сначала загрузить все файлы локально, а затем применить поиск Regex локально, но загрузка файлов 4k-5k .txt также может занять некоторое время.

Есть ли лучший способ поиска по ключевым словам в этом сценарий. Пожалуйста, помогите мне с вашими предложениями.

Answer 1

У вас есть несколько вариантов выполнения вашего требования:

1) Использование aws вызываемой службы - Поиск в облаке

2) AWS CLI: Для поиска по ключевому слову есть такие инструменты как Boto или Javascript Узел Инструменты Cli *

: (Предполагается, что это ваш случай) aws s3api list-objects - -bucket myBucketName --prefix "ключевое слово"

для Statter Patter:

aws s3api list-objects --bucket myBucketName --query "Содержание [? содержит (ключ, searchPattern) )] "