Разделение больших файлов CSV по столбцам - PullRequest
0 голосов
/ 28 ноября 2018

У меня есть очень большой (4 ГБ) CSV-файл.Невозможно открыть в Excel или других редакторах.Количество строк (строк) составляет около 3000, а количество столбцов - около 320 000.

Одно из решений состоит в том, чтобы разбить исходный файл на более мелкие и иметь возможность открывать эти небольшие файлы в Excel или других редакторах.

Второе решение - взять транспонирование исходных данных, а затем открыть их в Excel.

Я не смог найти инструмент или скрипт для транспонирования.Я нашел несколько скриптов и бесплатное программное обеспечение для разделения, но каждый из них разбивает CSV по размеру строки.

Есть ли способ разбить оригинальный файл на более мелкие, состоящие из максимум 15000 строк.

Я пытался использовать:

import panda as pd pd.read_csv (% Путь к файлу%). T.to_csv ('% новый Путь к файлу%, headre = false)

Но для завершения требуется

1 Ответ

0 голосов
/ 05 декабря 2018

В то же время я устал использовать кодирование на Python, но все они потерпели неудачу из-за проблем с памятью.

Пробная версия Delimit (http://www.delimitware.com/) отлично обрабатывает данные.

...