Если вы выполняете линейный импорт большого файла, вы можете легко разбить его на вложенные файлы по длине строки с помощью команды unix split
:
split -l 1000000 my-huge-import.json import-split
split
имеет и другие опции. Затем вы можете зациклить и вызвать curl с выходными файлами, anmed import-splitaa
, import-splitab
и т. Д.