Apache Flink имеет какой-либо API, такой же, как Spark HiveContext? - PullRequest
Новая
       9

Apache Flink имеет какой-либо API, такой же, как Spark HiveContext?

0 голосов
/ 22 октября 2018

Я прочитал документ и справку об Apache Flink 1.6 и хочу найти какой-нибудь API, такой как Spark HiveContext, для чтения данных из Hive, но только найти API HDFS и API JDBC.Существуют ли API-интерфейсы Spark HiveContext для подключения Hive?

1 Ответ

0 голосов
/ 22 октября 2018

Вы можете использовать HCatInputFormat примерно так: 

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

env.createInput(new HCatInputFormat<>(database, table));

Возможно, вам также понадобится добавить зависимость: 

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-hcatalog</artifactId>
    <version>${flink.version}</version>
    <scope>provided</scope>
</dependency>
...