Как добавить набор данных Kaggle в эластичный поиск? - PullRequest
Новая
       7

Как добавить набор данных Kaggle в эластичный поиск?

0 голосов
/ 10 октября 2019

Я новичок вasticsearch и пытаюсь создать приложение для поиска фильмов. Для этого я планирую получить данные из kaggle и добавить их в мой эластичный поиск, который я настроил локально на localhost: 9200. Я вижу это в ссылке localhost: 

name    "bxiIZLL"
cluster_name    "elasticsearch"
cluster_uuid    "zc_JPmw4TQ2G5bvahEF6LQ"
version 
number  "5.6.14"
build_hash  "f310fe9"
build_date  "2018-12-05T21:20:16.416Z"
build_snapshot  false
lucene_version  "6.6.1"
tagline "You Know, for Search"enter code here

Теперь мне нужно добавить Kaggle данные на этот сервер. Как я могу это сделать? Я где-то видел команду curld -XPUT. Я не уверен, как это может работать с Kaggle.

Последующий вопрос - если я хочу опубликовать свое приложение позже, как я могу разместить Elassearch?

1 Ответ

2 голосов
/ 10 октября 2019

Чтобы загрузить CSV-файл вasticsearch:

  1. загрузите файл.
  2. используйте logstash для чтения файла, используя ввод файла
  3. , измените и преобразуйте данные, как вам нужно, используя CSV фильтр logstash
  4. выведите logstash в asticsearch

Если у вас есть следующий вопрос - как я могу разместить Elasticsearch - вы можете запустить его самостоятельно, в AWS EC2 дляНапример, или используйте управляемый сервис, такой как Elastic cloud или AWS ES. удачи

...