Работа с координатами и огромными наборами данных в R

Question

Я немного борюсь с двумя наборами данных, содержащими координаты отдельных лиц и вышек сотовой связи:

• Первый набор данных по 9 459 лицам с 1214 переменными, включая их широту и долготу в градусах.
• второй набор данных о 31 176 вышках сотовой связи с 4 переменными, включая их широту и долготу в градусах и диапазон в метрах.

Я хотел бы определить, находится ли человек в диапазоне, по крайней мере, одного изклетки вышли из строя и создали пустышку, равную 1, если это так.

Однако из-за размера наборов данных я не могу объединить их с помощью команды перекрестного соединения.Я попытался использовать пакет geosphere со следующей командой:

distm(c(df1$longitude, df2$latitude), c(df2$longitude, df2$latitude), fun= distHaversine)

К сожалению, это не работает, поскольку два набора данных имеют одинаковый размер.Есть идеи, как решить эту проблему?

Answer 1

Как правило, это можно сделать гораздо эффективнее, чтобы максимально увеличить использование ОЗУ и процессора и снизить накладные расходы.Однако, если то, что вы пытаетесь сделать, является однократной операцией, то достаточно использовать следующий подход (на текущей записной книжке это занимает около 5 минут).

Вспомогательная функция

# More info: https://github.com/RomanAbashin/distGeo_v
distGeo_v <- function(x, y, xx, yy) { 
    if(!"geosphere" %in% installed.packages())  {
        stop("The 'geosphere' package needs to be installed for this function to work.")
    }
    matrix(.Call("_inversegeodesic", 
                 as.double(x), as.double(y), as.double(xx), as.double(yy), 
                 as.double(6378137), 1/298.257223563, PACKAGE='geosphere'), 
           ncol = 3, byrow = TRUE)[,1]
}

Данные

library(geosphere)
library(tidyverse)
set.seed(1702)

users <- tibble(userid = 1:10000,
                x = rnorm(10000, 16.3738, 5),
                y = rnorm(10000, 48.2082, 5))

towers <- tibble(lon = rnorm(35000, 16.3738, 10),
                 lat = rnorm(35000, 48.2082, 10),
                 range = runif(35000, 50, 10000))

Код

result <- NULL
for(i in 1:nrow(users)) {

    is_match <- users[i, 1:3] %>%
        tidyr::crossing(towers[, 1:3]) %>%
        filter(distGeo_v(x, y, lon, lat) <= range) %>%
        nrow() > 0

    result <- bind_rows(result, tibble(userid = users$userid[i],
                                       match = is_match))

}

Результат

> head(result)
# A tibble: 6 x 2
  userid match
   <int> <lgl>
1      1 TRUE 
2      2 FALSE
3      3 FALSE
4      4 TRUE 
5      5 FALSE
6      6 FALSE

Теперь вы можете left_join результат с вашими исходными данными.