Извлечение всех писем с помощью GmailR - PullRequest
Новая
       22

Извлечение всех писем с помощью GmailR

0 голосов
/ 17 июня 2020

Я пытаюсь извлечь все электронные письма из своей учетной записи Gmail, чтобы провести некоторый анализ. Конечная цель - фрейм данных электронных писем. Я использую пакет gmailR.

До сих пор я извлек все потоки электронной почты и «расширил» их, сопоставив все идентификаторы потоков с gm_thread (). Вот код для этого: 

threads <- gm_threads(num_results = 5)

thread_ids <- gm_id(threads)
#extract all the thread ids

threads_expanded <- map(thread_ids, gm_thread)

Это возвращает список всех потоков. Его структура представляет собой список объектов gmail_thread. Когда вы углубляетесь на один уровень в список объектов потоков, str(threads_expanded[[1]], max.level = 1), вы получаете один объект потока, который выглядит так: 

List of 3
 $ id       : chr "xxxx"
 $ historyId: chr "yyyy"
 $ messages :List of 3
 - attr(*, "class")= chr "gmail_thread"

Затем, если вы углубитесь дальше в сообщения, составляющие потоки, вы начинаете получать полезную информацию. str(threads_expanded[[1]]$messages, max.level = 1) дает вам список объектов gmail_message для этого потока: 

List of 3
 $ :List of 8
  ..- attr(*, "class")= chr "gmail_message"
 $ :List of 8
  ..- attr(*, "class")= chr "gmail_message"
 $ :List of 8
  ..- attr(*, "class")= chr "gmail_message"

Где я застрял, так это извлечение всей полезной информации из каждого письма во всех потоках. Конечная цель - это фрейм данных со столбцом для message_id, thread_id, to, from, et c. Я представляю себе что-то вроде этого: 

    message_id    |  thread_id    |  to            |  from            | ... |
    -------------------------------------------------------------------------
    1234          |  abcd         |  me@gmail.com  | pam@gmail.com    | ... |
    1235          |  abcd         |  pam@gmail.com | me@gmail.com     | ... |
    1236          |  abcf         |  me@gmail.com  | tim@gmail.com    | ... |

1 Ответ

1 голос
/ 30 июня 2020

Это не самый красивый ответ, но он работает. Я собираюсь поработать над его векторизацией позже: 

threads <- gm_threads(num_results = 5)

thread_ids <- gm_id(threads)
#extract all the thread ids

threads_expanded <- map(thread_ids, gm_thread)

msgs <- vector()
for(i in (1:length(threads_expanded))){
  msgs <- append(msgs, values = threads_expanded[[i]]$messages)
}
#extract all the individual messages from each thread

msg_ids <- unlist(map(msgs, gm_id))
#get the message id for each message

msg_body <- vector()
#get message body, store in vector
for(msg in msgs){
  body <- gm_body(msg)
  attchmnt <- nrow(gm_attachments(msg))
  if(length(body) != 0 && attchmnt == 0){
    #does not return a null value, rather an empty list or list
of length 0, so if,
    #body is not 0 (there is something there) and there are no attachemts, 
    #add it to vector
    msg_body <- append(msg_body, body)
    #if there is no to info, fill that spot with an empty space
  }
  else{
    msg_body <- append(msg_body, "")
    #if there is no attachment but the body is also empty add "" to the list
  }
}
msg_body <- unlist(msg_body)

msg_datetime <- msgs %>%
  map(gm_date) %>%
  unlist()%>%
  dmy_hms()
#get datetime info, store in vector

message_df <- tibble(msg_ids, msg_datetime, msg_body)
#all the other possible categories, e.g., to, from, cc, subject, etc.,
#either use a similar for loop or a map call
...