Функция Unlist превращает числовые значения в символы.р - PullRequest
0 голосов
/ 04 марта 2019

Код очищает веб-сайт от данных об акциях и возвращает кадр данных 1x18 для каждой акции.Я пытаюсь преобразовать фрейм данных в вектор, не превращая числовые столбцы в факторы, что и происходит.Я также попытался превратить массив данных в матрицу, но числовые столбцы все еще преобразуются в факторы.В заключение я хотел бы сохранить символы в виде символов, а цифры в виде чисел - все в векторе.Спасибо.

    #get.dates is a function I created to scrape

    data = get.dates("AAPL")
    class(data)
    [1] "data.frame"
    class(data$surprise)
    [1] "numeric"
    dput(data)
    structure(list(date = "2019-05-07T00:00:00", company = "Apple", 
        ticker = "AAPL", periodEnding = "Mar 2019", eps = "2.37", 
        reportedEPS = NA_character_, lastEps = "2.73", consensus = 4L, 
        bpConsensus = 4L, ratingsAndPT = structure(list(priceTarget = 177.34, 
            numBuys = 17L, numHolds = 18L, numSells = 0L), class = "data.frame", row.names = c(NA, 
        -1L)), bpRatingsAndPT = structure(list(priceTarget = 176.88, 
            numBuys = 14L, numHolds = 14L, numSells = 0L), class = "data.frame", row.names = c(NA, 
        -1L)), marketCap = 827573630900, sector = 18731L, stockId = 7624L, 
        stockTypeId = 1L, surprise = NA_real_, timeOfDay = 4L, isConfirmed = FALSE), class = "data.frame", row.names = c(NA, 
    -1L))
    data = unlist(data)
    class(data)
    [1] "character"

Итак, конечный результат - это связать каждый из выходов в один data.frame.Я думаю, что мне нужно преобразовать каждый кадр данных 1x18 в вектор для rbind, потому что я получаю ошибку при попытке привязать столбцы с помощью пакета foreach.

tickers = c("AAPL", "PEP", "KO")
system.time({
  data = foreach(r = tickers, .packages = c("jsonlite", "dplyr"), .combine = rbind) %dopar% {get.dates(r)}
})
error calling combine function:
<simpleError in `.rowNamesDF<-`(x, value = value): duplicate 'row.names' are not allowed>
   user  system elapsed 
   0.02    0.00    0.56 
Warning message:
non-unique value when setting 'row.names': ‘1’ 

print(data)
NULL
#I will do the same thing outside of the foreach loop to give some more context
data = lapply(tickers, get.dates)
do.call(rbind, data)
Error in `.rowNamesDF<-`(x, value = value) : 
  duplicate 'row.names' are not allowed
In addition: Warning message:
non-unique value when setting 'row.names': ‘1’ 

dput(data)
list(structure(list(date = "2019-05-07T00:00:00", company = "Apple", 
    ticker = "AAPL", periodEnding = "Mar 2019", eps = "2.37", 
    reportedEPS = NA_character_, lastEps = "2.73", consensus = 4L, 
    bpConsensus = 4L, ratingsAndPT = structure(list(priceTarget = 177.34, 
        numBuys = 17L, numHolds = 18L, numSells = 0L), class = "data.frame", row.names = c(NA, 
    -1L)), bpRatingsAndPT = structure(list(priceTarget = 176.88, 
        numBuys = 14L, numHolds = 14L, numSells = 0L), class = "data.frame", row.names = c(NA, 
    -1L)), marketCap = 827573630900, sector = 18731L, stockId = 7624L, 
    stockTypeId = 1L, surprise = NA_real_, timeOfDay = 4L, isConfirmed = FALSE), class = "data.frame", row.names = c(NA, 
-1L)), structure(list(date = "2019-04-23T00:00:00", company = "Coca-Cola", 
    ticker = "KO", periodEnding = "Mar 2019", eps = "0.46", reportedEPS = NA_character_, 
    lastEps = "0.47", consensus = 4L, bpConsensus = 5L, ratingsAndPT = structure(list(
        priceTarget = 50.89, numBuys = 4L, numHolds = 5L, numSells = 0L), class = "data.frame", row.names = c(NA, 
    -1L)), bpRatingsAndPT = structure(list(priceTarget = 51.25, 
        numBuys = 3L, numHolds = 1L, numSells = 0L), class = "data.frame", row.names = c(NA, 
    -1L)), marketCap = 193681840000, sector = 18731L, stockId = 8359L, 
    stockTypeId = 1L, surprise = NA_real_, timeOfDay = 4L, isConfirmed = FALSE), class = "data.frame", row.names = c(NA, 
-1L)), structure(list(date = "2019-04-25T00:00:00", company = "PepsiCo", 
    ticker = "PEP", periodEnding = "Mar 2019", eps = "0.92", 
    reportedEPS = NA_character_, lastEps = "0.96", consensus = 4L, 
    bpConsensus = 4L, ratingsAndPT = structure(list(priceTarget = 123.67, 
        numBuys = 4L, numHolds = 3L, numSells = 0L), class = "data.frame", row.names = c(NA, 
    -1L)), bpRatingsAndPT = structure(list(priceTarget = 126, 
        numBuys = 1L, numHolds = 1L, numSells = 0L), class = "data.frame", row.names = c(NA, 
    -1L)), marketCap = 163697620000, sector = 18731L, stockId = 10962L, 
    stockTypeId = 1L, surprise = NA_real_, timeOfDay = 4L, isConfirmed = FALSE), class = "data.frame", row.names = c(NA, 
-1L)))

Вот то, что я хотел бы, чтобы вывод был похож.Спасибо!!enter image description here

1 Ответ

0 голосов
/ 04 марта 2019

Вы, в основном, должны сделать здесь свое собственное выравнивание списка, что нежелательно.Это проще сделать, когда вы получаете данные JSON изначально.https://rdrr.io/cran/jsonlite/man/flatten.html

Пользователи нижеприведенного решения purrr, но вы можете сделать это с помощью цикла for или применить функции, если хотите.Здесь есть две основные идеи:
1. Свяжите вместе столбцы типа dataframe с частью dataframe, у которой нет вложенных столбцов.В вашем примере мы связываем вместе 3 отдельных фрагмента: 1 исходный кадр данных с удаленным df_cols и два других столбца данных.Вы можете сделать это с bind_cols.Это помогает предварительно добавить имена исходных столбцов, чтобы избежать дублирования.
2. Свернуть все строки вместе с rbind или подобным.

flatten_df_cols <- function(df) {
  df_cols <- map_lgl(df, is.data.frame)
  imap_dfc(df[, df_cols], ~setNames(.x, paste0(.y, ".", names(.x)))) %>% 
    bind_cols(list(df[, !df_cols]), .)
}

map_dfr(data, flatten_df_cols)
Observations: 3
Variables: 24
$ date                       <chr> "2019-05-07T00:00:00", "2019-04...
$ company                    <chr> "Apple", "Coca-Cola", "PepsiCo"
$ ticker                     <chr> "AAPL", "KO", "PEP"
$ periodEnding               <chr> "Mar 2019", "Mar 2019", "Mar 2019"
$ eps                        <chr> "2.37", "0.46", "0.92"
$ reportedEPS                <chr> NA, NA, NA
$ lastEps                    <chr> "2.73", "0.47", "0.96"
$ consensus                  <int> 4, 4, 4
$ bpConsensus                <int> 4, 5, 4
$ marketCap                  <dbl> 827573630900, 193681840000, 163...
$ sector                     <int> 18731, 18731, 18731
$ stockId                    <int> 7624, 8359, 10962
$ stockTypeId                <int> 1, 1, 1
$ surprise                   <dbl> NA, NA, NA
$ timeOfDay                  <int> 4, 4, 4
$ isConfirmed                <lgl> FALSE, FALSE, FALSE
$ ratingsAndPT.priceTarget   <dbl> 177.34, 50.89, 123.67
$ ratingsAndPT.numBuys       <int> 17, 4, 4
$ ratingsAndPT.numHolds      <int> 18, 5, 3
$ ratingsAndPT.numSells      <int> 0, 0, 0
$ bpRatingsAndPT.priceTarget <dbl> 176.88, 51.25, 126.00
$ bpRatingsAndPT.numBuys     <int> 14, 3, 1
$ bpRatingsAndPT.numHolds    <int> 14, 1, 1
$ bpRatingsAndPT.numSells    <int> 0, 0, 0
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...