В настоящее время я пытаюсь перенести коллекцию mongodb в hdfs , используя hive .
Мне удалосьсоздание таблицы кустов на основе mongodb, и она присутствует в моем каталоге hdfs при просмотре пользовательского интерфейса hdfs.
Однако отображается только таблица, но таблица пуста , нетданные доступны .
Кажется, что коллекция mongodb не загружена в таблицу.ниже показано, как я создаю таблицу.
create table mongo(
id String,
age String,
gender String,
race String,
custState String,
purchaseDate String,
purchaseTime String,
foodname String,
restaurant String,
foodtype String,
quantity String,
totalPrice String,
orderType String,
rating String,
servingType String,
characteristic String,
restaurantType String,
restaurantState String,
priceRange String,
paymentMethod String,
tableBooking String,
onlineBooking String,
deliveryService String)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
WITH SERDEPROPERTIES('mongo.columns.mapping'='{
"id":"_id",
"age":"age",
"gender":"gender",
"race":"race",
"custState":"custState ",
"purchaseDate":"purchaseDate",
"purchaseTime":"purchaseTime",
"foodname":"foodname",
"restaurant":"restaurant",
"foodtype":"foodtype",
"quantity":"quantity",
"totalPrice":"totalPrice",
"orderType":"orderType",
"rating":"rating",
"servingType":"servingType",
"characteristic":"characteristic",
"restaurantType":"restaurantType",
"restaurantState":"restaurantState",
"priceRange":"priceRange",
"paymentMethod":"paymentMethod",
"tableBooking":"tableBooking",
"onlineBooking":"onlineBooking",
"deliveryService":"deliveryService"}')
TBLPROPERTIES('mongo.uri'='mongodb://master:27017/bigdatadb.datasetv1');
перед созданием таблицы я также добавил банки, как и предполагалось, но я не совсем уверен, каково их значение.
add jar /usr/local/hadoop/lib/hive-serde-1.0.jar;
add jar /usr/local/hadoop/lib/mongo-hadoop-core-1.5.2.jar;
add jar /usr/local/hadoop/lib/mongo-hadoop-hive-1.5.2.jar;
add jar /usr/local/hadoop/lib/mongo-java-driver-3.8.1.jar;
add jar /usr/local/Hive-JSON-Serde/json-serde/target/json-serde-1.3.9-SNAPSHOT-jar-with-dependencies.jar;
Яиспользуя hadoop 2.9.1, mongodb 4.0.4 и улей 2.3.3.Кто-нибудь может помочь мне решить эту проблему?