Как использовать НЛП / манипуляции со строками для перекодирования нескольких столбцов штатов / городов / зарубежных локаций - PullRequest
Новая
       48

Как использовать НЛП / манипуляции со строками для перекодирования нескольких столбцов штатов / городов / зарубежных локаций

2 голосов
/ 25 сентября 2019

ОЧЕНЬ благодарен за помощь !!!

У меня есть очень грязные данные, которые я пытаюсь очистить.Ищите элегантное решение в R, которое бы правильно определяло, есть ли зарубежные поездки или нет (TRUE = зарубежные поездки, FALSE = внутренние поездки / поездки в США).

Есть несколько проблем с данными, включая:как в сокращенном, так и в сокращенном формате - орфографические ошибки - разные форматы (т. е. просто штат, город, запятая, город с косой чертой и т. д.) - данные в штате / стране могут содержать город, а не штат / страну и наоборот для столбца города.

В столбце «Зарубежные поездки» решение должно быть перезаписано так, что если в столбце «Штат / страна» или «Город» указано «Зарубежные поездки», оно будет закодировано как «ИСТИНА», иначе «ЛОЖЬ». 

   `State/Country`          `Foreign Travel`                   City         
    <chr>                            <lgl>                    <chr>        
   1 CA                                FALSE             San Francisco
   2 California                        FALSE             San Francisco
   3 British Columbia, Canada          TRUE              Vancouver    
   4 Florida                            NA               Hollywood    
   5 TX                                 NA               Dallas       
   6 Florda                             NA               Orlando 
   7 FL/CA                              NA               Orlando, Sacramennto 
   8 bufalo                             NA               NY
   9 d.c                               FALSE             washington dc
   10 frt wort, tx                     FALSE             texass
   11 frt wort, tx                     FALSE             texass
   12 japan                            NA                japan
   13 W?rzburg                         FALSE             german

Прямо сейчасУ меня есть какой-то очень неопрятный код, который просматривает каждый столбец, выдает true / false, если он его находит, если true (найден внутренний элемент) хотя бы для 1 столбца, который он перекодирует по иностранному столбцу t / f в False (нет зарубежного путешествия): 

 ##add some lines for nas
 no_entry <- c("na",".","","n/a","none")
  ##Maps package
 cities<- world.cities

 USAcities <- cities %>%
    filter(country.etc == 'USA')

   USAcities <- c(USAcities, 'williamsburg')

  USAcities <-tolower(USAcities$name)
 USA_fullState<- tolower(USA_fullState)
 USA_stateABR<- tolower(USA_stateABR)
 Travel_df_limited$State.Country<- tolower(Travel_df_limited$State.Country)


     Travel_df_limited$ForeignTravel_rc1 <- 
    c(rep(0,length(Travel_df_limited$Foreign.Travel)))

   i<-1
   for (i in 1:length(USA_fullState)){
   Travel_df_limited <- Travel_df_limited %>%
    mutate(ForeignTravel_rc1 = 
    ifelse(grepl(USA_fullState[i],Travel_df_limited$State.Country) == 
    "TRUE","FALSE",Travel_df_limited$ForeignTravel_rc1 ))
     i<- i+1}

  Travel_df_limited$ForeignTravel_rc1

   Travel_df_limited <- Travel_df_limited %>%
    mutate(ForeignTravel_rc2 = ifelse(Travel_df_limited$State.Country%in% 
    USA_stateABR== "TRUE","FALSE","TRUE"))


 Travel_df_limited$ForeignTravel_rc3 <- 
    c(rep(0,length(Travel_df_limited$Foreign.Travel)))

   i<-1
 for (i in 1:length(USAcities)){
   Travel_df_limited <- Travel_df_limited %>%
    mutate(ForeignTravel_rc3 = 
     ifelse(grepl(USAcities[i],Travel_df_limited$State.Country) == 
    "TRUE","FALSE",Travel_df_limited$ForeignTravel_rc3))
     i<- i+1}


     Travel_df_limited <- Travel_df_limited %>%
     mutate(ForeignTravel_rc = ifelse(Travel_df_limited$ForeignTravel_rc1 == 
      "FALSE" |   Travel_df_limited$ForeignTravel_rc2 == "FALSE"|
                                 Travel_df_limited$ForeignTravel_rc3 == 
          "FALSE" , "FALSE",
             ifelse(Travel_df_limited$State.Country%in% 
               c("na",".","","n/a","none") =="TRUE","FALSE", "TRUE")))



      Travel_df_limited<- subset(Travel_df_limited, select = - 
       c(ForeignTravel_rc1,ForeignTravel_rc2,ForeignTravel_rc3))
...