Можем ли мы отправить объект json партиями?

Question

У меня большой JSON, и мне нужно отправить его партиями по 1 МБ.Как я могу сделать это в Python ??Любая помощь приветствуется.

Вот код.

Значение - это весь большой JSON.

for key, value in attributeJs.iteritems() :
                data = value
                headers = {'Content-Type' : 'application/json'}
                try:
                        requests.packages.urllib3.disable_warnings()
                        r = requests.post(url=URL_ATTRIBUTE, headers=headers, verify=False, data=data, timeout=(15,20))

Answer 1

Вы можете попробовать использовать кодированный запрос, отправив ваши данные в качестве генератора, что-то вроде этого:

def generator():
    for key, value in attributeJs.iteritems():
        yield value

headers = {'Content-Type' : 'application/json',
           'Transfer-encoding':'chunked'}

requests.packages.urllib3.disable_warnings()
r = requests.post(url=URL_ATTRIBUTE, headers=headers, verify=False, 
data=generator(), timeout=(15,20), stream=True) 

и получить 1 МБ за раз:

r.iter_content(chunk_size=1000000)  # 1MB = 1000000 Bytes

Answer 2

Вы можете передавать данные, используя запросы

with open('massive-body', 'rb') as f:
    requests.post('http://some.url/streamed', data=f)