Я имею дело с очень большими csv-файлами размером 1-10 ГБ.Я понял, что мне нужно использовать ff-пакет для чтения данных.Тем не менее, это не похоже на работу.Я подозреваю, что проблема в том, что у меня есть приблизительно 73 000 столбцов, и поскольку ff читает по строкам, размер слишком велик для памяти R.Мой компьютер имеет 128 ГБ памяти, поэтому аппаратное обеспечение не должно быть ограничением.
Это какой-либо способ чтения данных вместо столбца?
Примечание: в каждом файле есть 10строки текста, которые необходимо удалить, прежде чем файл можно будет успешно прочитать в виде матрицы.Ранее я имел дело с этим с помощью read.csv (file, skip = 10, header = T, fill = T) для небольших файлов того же типа. Вот изображение того, как выглядит уменьшенная версия наборов данных в Excel