Как обновить огромные данные Json, доступные в Elasti c Поиск (Кибана), используя python

Question

Я попытался обновить данные json в кибане, выдав исключение из-за огромных данных.

"statusCode": 413,
"error": "Request Entity Too Large",
"message": "Payload content length greater than maximum allowed: 1048576"

Как обновить этот огромный json, используя python программно вместо прямого обновления в кибане ? Любой может предложить решить эту проблему. Заранее спасибо.

Код для подключения кибана с помощью python:

from elasticsearch import Elasticsearch
import pandas as pd
import pymysql
es = Elasticsearch("https://pd-analytics.example.com")
if es.ping():
    print("Yeah connect")
else:
    print("couldn't connect")


from elasticsearch_dsl import Search
from elasticsearch_dsl import connections
connections.create_connection(hosts=['https://pd-analytics.example.com'])
s = Search(index="projectdetails")
response = s.scan()

Answer 1

from elasticsearch import Elasticsearch
import pandas as pd
import pymysql
es = Elasticsearch("https://pd-analytics.example.com/")
if es.ping():
    print("Yeah connect")
else:
    print("couldn't connect")

import json   
from elasticsearch import Elasticsearch
#from . libraryupload import connect_elasticsearch,connect_elasticsearch_live,connect_elasticsearch_demo
es=connect_elasticsearch()
with open('update_json.json') as f:
    data = json.load(f)
    key = "LXCL125EJM8FCI"
    replyFromes = es.index(index='projectexport', doc_type='doc', id=key, body=data)
    print(replyFromes)
    print(replyFromes['result'])

Я обновил данные json локально, а затем обновил их в кибане, используя python.

Это работает для меня.

Answer 2

Вы достигнете предела, установленного в kibana.yml. Значение по умолчанию установлено на 1048576, что вы и видите в своем ответе. Вы можете изменить поле server.maxPayloadBytes, чтобы увеличить лимит в соответствии с вашими критериями. Вы можете посмотреть другие опции, доступные в файле конфигурации здесь .