Как читать таблицу построчно - используя R? - PullRequest
1 голос
/ 06 мая 2019

У меня довольно большой (20 ГБ) CSV-файл, и мне нужно изменить некоторые из его столбцов. Каков НАИБОЛЕЕ ОПТИМИЗИРОВАННЫЙ способ импорта таблицы данных построчно (или, возможно, нескольких тысяч строк на чтение)? Я пробовал решение, приведенное ниже Что такое хороший способ читать построчно в R?

Но, похоже, очень медленно. Есть ли какая-либо библиотека, которая может читать построчно, в самой структуре таблицы, а также имеет какую-то логику буфера для ускорения чтения?

1 Ответ

2 голосов
/ 06 мая 2019

Вы можете использовать быстрый fread() с data.table. С помощью skip= вы устанавливаете начало сегмента чтения, а с помощью nrow= - количество строк для чтения.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...