Как использовать read.csv2.sql для чтения zip-файла, не разархивируя его? - PullRequest
Новая
       15

Как использовать read.csv2.sql для чтения zip-файла, не разархивируя его?

0 голосов
/ 21 апреля 2019

Я пытаюсь прочитать ZIP-файл, не разархивируя его в своем каталоге, используя read.csv2.sql для определенной фильтрации строк.

Zip-файл можно загрузить здесь :

Я попытался установить файловое соединение на read.csv2.sql, но похоже, что оно не принимает файловое соединение в качестве параметра для "файла".

Я уже установил sqldf пакет на моей машине.

Это мой следующий код R для описанной проблемы: 

### Name the download file
zipFile <- "Dataset.zip"

### Download it
download.file("https://d396qusza40orc.cloudfront.net/exdata%2Fdata%2Fhousehold_power_consumption.zip",zipFile,mode="wb")

## Set up zip file directory
zip_dir <- paste0(workingDirectory,"/Dataset.zip")

### Establish link to "household_power_consumption.txt" inside zip file
data_file <- unz(zip_dir,"household_power_consumption.txt")

### Read file into loaded_df
loaded_df <- read.csv2.sql(data_file , sql="SELECT * FROM file WHERE Date='01/02/2007' OR Date='02/02/2007'",header=TRUE)

### Error Msg
### -Error in file(file) : invalid 'description' argument

1 Ответ

1 голос
/ 21 апреля 2019

Это не использует read.csv2.sql, но, поскольку в файле всего ~ 2 миллиона записей, можно просто загрузить его, прочитать его с помощью read.csv2 и затем поместить его в R. 

# download file creating zipfile
u <-"https://d396qusza40orc.cloudfront.net/exdata%2Fdata%2Fhousehold_power_consumption.zip"
zipfile <- sub(".*%2F", "", u)
download.file(u, zipfile)

# extract fname from zipfile, read it into DF0 and subset it to DF 
fname <- sub(".zip", ".txt", zipfile)
DF0 <- read.csv2(unz(zipfile, fname))
DF0$Date <- as.Date(DF0$Date, format = "%d/%m/%Y")
DF <- subset(DF0, Date == '2007-02-01' | Date == '2007-02-02')

# can optionally free up memory used by DF0
# rm(DF0)
...