Возникли проблемы с импортом новых данных в существующую таблицу с помощью Hue Hadoop - PullRequest
Новая
       10

Возникли проблемы с импортом новых данных в существующую таблицу с помощью Hue Hadoop

0 голосов
/ 20 мая 2018

Когда я загружаю новые данные в существующую таблицу, а затем выполняю select count(1), чтобы получить общее количество загруженных строк, я получаю счетчик только одного файла HDFS.

enter image description here

Номер строки представляет собой сумму только одного файла HDFS.

Чтобы импортировать «новые данные», я нажимаю здесь: enter image description here

Кроме того, здесь общее количество в MySQL: enter image description here

И общее количество в Hue Hadoop: enter image description here

Кстати, вот файловый браузер: enter image description here

Вы хоть представляете, что я делаю не так?

С уважением!

1 Ответ

0 голосов
/ 20 мая 2018

Попробуйте: 

invalidate metadata default.movie;

Скорее всего, вы использовали Impala в качестве движка для извлечения данных, а эта команда для перезагрузки метаданных.

По умолчанию кэшированные метаданные для всех таблиц сбрасываются.Если вы укажете имя таблицы, сбрасываются только метаданные для этой таблицы.Даже для одной таблицы INVALIDATE METADATA дороже, чем REFRESH, поэтому предпочитайте REFRESH в общем случае, когда вы добавляете новые файлы данных для существующей таблицы.

Если вы хотите пойти дальше, проверить это.

...