Я неоднократно слышал этот вопрос. У меня нет никаких практических сценариев. Поскольку я могу учиться и получать множество подходов / идей, чтобы сделать то же самое, я хотел бы понять,
1) What would be the best approach ?
2) What would be the efficient way to do this ?
По моему мнению, я бы хотел разделить файлы большого размера на меньшие (я имею в виду,Batches). Допустим, у меня есть 2 файла с данными для манипуляции (каждый файл sorted и un-sorted порядок). Определенно, чтение такого огромного файла приводит к ошибке памяти (невозможно загрузить файл в зависимости от ОЗУ).
1) How can it be achieved through Python ?
2) Best time saving and efficient method ?
3) Can Python-Pandas achieve this ? If yes, how ?
Очень любопытно услышать от вас. Пожалуйста, помогите мне.