R, перо: три вопроса об использовании перо для хранения больших файлов в условиях ограничения памяти - PullRequest
0 голосов
/ 15 февраля 2019
  1. Предположим, я читаю в файле, который слишком велик, чтобы поместиться в памяти, кусками по строкам через соединение.Есть ли способ передать эти куски в write_feather через соединение, чтобы входной файл мог быть перенесен в пера без необходимости иметь весь файл в памяти сразу?
  2. Я знаю, перо позволяет вам тянутьколонки без чтения всего файла пера в память.Позволяет ли вам также записывать столбцы в существующий файл пера, не читая и не копируя все это?Через аргумент path, может быть, вроде path = "./file.feather/vector_name"?
  3. Наконец, я натолкнулся на некоторые утверждения при передаче в блоге сообщений, что dplyr позволяет использовать перо в качестве бэкэнда,Но я не могу найти это задокументировано, и я думаю, что мне следовало бы услышать об этом больше, если это полностью разработанная интеграция (исключая сложные типы столбцов, которые не поддерживаются пером).Это настоящее, хотя и недокументированное, частично реализованное, желаемое за действительное или что-то еще?
...