Нужно ли устанавливать Had oop для запуска приложения Flink на моем - PullRequest
Новая
       7

Нужно ли устанавливать Had oop для запуска приложения Flink на моем

0 голосов
/ 26 февраля 2020

Я продолжаю получать это сообщение, когда пытаюсь запустить программу FLink в IntelliJ 

org.apache.hadoop.util.Shell - Failed to detect a valid hadoop home directory
java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.

com.amazonaws.AmazonClientException: No AWS Credentials provided by BasicAWSCredentialsProvider EnvironmentVariableCredentialsProvider InstanceProfileCredentialsProvider : com.amazonaws.SdkClientException: Unable to load credentials from service endpoint: No AWS Credentials provided by BasicAWSCredentialsProvider EnvironmentVariableCredentialsProvider InstanceProfileCredentialsProvider : com.amazonaws.SdkClientException: Unable to load credentials from service endpoint

При поиске решений я сталкивался с https://ci.apache.org/projects/flink/flink-docs-release-1.6/ops/deployment/aws.html#aws -access-key-id-and- секретный-ключ-доступа-не указан В нем говорится о том, что указание на мигание имело oop, et c. Так что мне нужно установить имел oop на мой локальный?

1 Ответ

2 голосов
/ 27 февраля 2020

Вам вообще не нужен oop для запуска Flink. Но я предполагаю, что вы используете s3. Flink поддерживает S3 через так называемый режим совместимости Had oop. Для того, чтобы это работало, Вам могут потребоваться дополнительные зависимости, а также Вы должны добавить core-site.xml в Ваш проект, где Вы определите: 

<configuration>
    <property>
        <name>fs.s3.impl</name>
        <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
    </property>
    <property>
        <name>fs.s3a.access.key</name>
        <value>[some-key]</value>
    </property>

    <property>
        <name>fs.s3a.secret.key</name>
        <value>[some-key]</value>
    </property>

</configuration>
...