Объединить данные точек с GEOJSON в Hive - PullRequest
0 голосов
/ 31 мая 2018

У меня есть точки и шейп-файл, преобразованные в данные GEOJSON, загруженные в Hive.Я делаю визуализацию в этих таблицах с этими файлами, но для этого мне нужно объединить оба данных.

Проблема в том, что у данных точек нет общего ключа, если я хочу выполнить слияние сданные шейп-файла.

Я сделал это с примерами данных на своем рабочем столе.Единственное, что я знаю, чтобы объединить данные, мне нужно присвоить атрибут шейп-файла каждой точке, а затем выполнить объединение на основе атрибутов.

Я сделал это в QGIS, используя инструменты выборки точек для пространственных объединений, чтобы получить атрибуты из шейп-файла, а затем соединить шейп-файл и данные атрибутов Points + в Таблице с помощью общего ключа (т. Е. Region).

Но поскольку мы говорим здесь о больших данных, около 19 миллионов строк данных, мне интересно, сможем ли мы выполнить объединение в Hive?

Любой, кто может помочь дать мне идеи, будет оченьоценили.Большое спасибо!

...