Какова разумная максимальная скорость для чтения файла CSV в двумерный массив? - PullRequest
0 голосов
/ 03 февраля 2019

Какое разумное время для загрузки файла CSV в двумерный массив в памяти, где # столбцов фиксировано (406), а количество строк составляет около 87 000?- В Perl это занимает около 12 секунд от жесткого диска (SATA) или SSD.- другие языки в порядке, если скорость может значительно улучшиться.Я ожидал, что время будет намного меньше!Размер диска CSV-файла, на который есть ссылка, составляет 302 МБ!

Ниже приведен интересный Perl:

while ($iline = <$CSVFILE>)
{
    chomp($iline);
    @csv_values = split /,/,$iline;
    # Create a HASH Key from csv_value[0], which is the CODE/label!
    $hashname=$csv_values[0];
    $Greeks{$hashname}=[@csv_values];   # Create the reference & copy the array!
}

Для вышеизложенного большая часть времени используется в разделении", и новые хеш-строки с добавлением ключей!

Я пробовал аналогичный тест на python (не мой сильный набор), и производительность была намного хуже!К сведению: процессор - Intel 3.2 ГГц i7-3930K с оперативной памятью 32 ГБ, 64-разрядная ОС (победа 10) для эталонной производительности.Спасибо за конструктивные идеи!

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...