Я знаю, что это довольно старый пост, но подумал, что могу предложить лучшую альтернативу.
В вашем случае, вместо того, чтобы проходить через сложность преобразования вашего индекса HDFS Lucene в схему улья, лучше поместить их в pig, поскольку pig может читать плоские файлы. Если вам не нужен реляционный способ хранения ваших данных, вы, вероятно, могли бы обработать их через Pig и использовать Hbase в качестве своей БД.