Как разбить огромный файл на маленькие куски и параллельно загрузить в Dynamodb с помощью Boto3

Question

Как разбить огромный файл (предположим, 5 миллионов записей) на маленькие куски (предположим, что каждый блок может иметь 100 тыс. Записей) и загрузить параллельно в Dynamodb с помощью Boto3.

Возможно ли это с помощью Boto3, в настоящее время янекоторые требования, как это.Любое руководство или пример кода очень помогают.

Спасибо.

Answer 1

Вы можете сделать это:

tot_lines = 100000

with open('myfile.txt') as f:
    fout = open('out0.txt','wb')
    for c,i in enumerate(f):
      fout.write(i)
      if (c+1)%tot_lines == 0:
        fout.close()
        fout = open('out%d.txt'%(c/tot_lines+1),'wb')
    fout.close()

Это создаст n количество файлов, в каждом файле которых будет 100k записей.Затем вы можете загрузить их так, как вы хотите.