Почему мой автономный кластер Flink не получает мою работу? - PullRequest
Новая
       7

Почему мой автономный кластер Flink не получает мою работу?

0 голосов
/ 01 февраля 2019

Я создал программу на Флинке (Java) для вычисления среднего значения по 9 поддельным датчикам в 3 разных комнатах.Программа работает нормально, если я запускаю файл jar.Поэтому я решил запустить автономный кластер flink, чтобы проверить TaskManagers, выполняющих мою работу, и соответствующие задачи, например, здесь (https://ci.apache.org/projects/flink/flink-docs-stable/tutorials/local_setup.html). Я запускаю все на своем компьютере. Почему я не вижу работу, выполняющуюся на панели инструментов (http://localhost:8081/#/overview) но если я смотрю файлы журнала (tail -f log / flink- -client- - * - T430.log), я вижу, что что-то обрабатывается? Более того, print()метод выводит вывод на консоль.

Я запускаю свое приложение с помощью этой команды ./bin/flink run examples/explore-flink.jar -c

Но, возможно, в конфигурационном файле есть какой-то параметр, который мне нужно настроить. Вот мойкод: 

import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.common.state.MapState;
import org.apache.flink.api.common.state.MapStateDescriptor;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.sense.flink.mqtt.MqttTemperature;
import org.sense.flink.mqtt.TemperatureMqttConsumer;

public class SensorsMultipleReadingMqttEdgentQEP {

    private boolean checkpointEnable = true;
    private long checkpointInterval = 1000;
    private CheckpointingMode checkpointMode = CheckpointingMode.EXACTLY_ONCE;

    public SensorsMultipleReadingMqttEdgentQEP() throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStreamTimeCharacteristic(TimeCharacteristic.IngestionTime);

        if (checkpointEnable)
            env.enableCheckpointing(checkpointInterval, checkpointMode);

        DataStream<MqttTemperature> temperatureStream01 = env.addSource(new TemperatureMqttConsumer("topic-edgent-01"));
        DataStream<MqttTemperature> temperatureStream02 = env.addSource(new TemperatureMqttConsumer("topic-edgent-02"));
        DataStream<MqttTemperature> temperatureStream03 = env.addSource(new TemperatureMqttConsumer("topic-edgent-03"));
        DataStream<MqttTemperature> temperatureStreams = temperatureStream01.union(temperatureStream02)
                .union(temperatureStream03);

        DataStream<Tuple2<String, Double>> average = temperatureStreams.keyBy(new TemperatureKeySelector())
                .map(new AverageTempMapper());

        average.print();

        String executionPlan = env.getExecutionPlan();
        System.out.println("ExecutionPlan ........................ ");
        System.out.println(executionPlan);
        System.out.println("........................ ");

        // env.execute("SensorsMultipleReadingMqttEdgentQEP");
        env.execute();
    }

    public static class TemperatureKeySelector implements KeySelector<MqttTemperature, Integer> {

        private static final long serialVersionUID = 5905504239899133953L;

        @Override
        public Integer getKey(MqttTemperature value) throws Exception {
            return value.getId();
        }
    }

    public static class AverageTempMapper extends RichMapFunction<MqttTemperature, Tuple2<String, Double>> {

        private static final long serialVersionUID = -5489672634096634902L;
        private MapState<String, Double> averageTemp;

        @Override
        public void open(Configuration parameters) throws Exception {
            averageTemp = getRuntimeContext()
                    .getMapState(new MapStateDescriptor<>("average-temperature", String.class, Double.class));
        }

        @Override
        public Tuple2<String, Double> map(MqttTemperature value) throws Exception {
            String key = "no-room";
            Double temp = value.getTemp();

            if (value.getId().equals(1) || value.getId().equals(2) || value.getId().equals(3)) {
                key = "room-A";
            } else if (value.getId().equals(4) || value.getId().equals(5) || value.getId().equals(6)) {
                key = "room-B";
            } else if (value.getId().equals(7) || value.getId().equals(8) || value.getId().equals(9)) {
                key = "room-C";
            } else {
                System.err.println("Sensor not defined in any room.");
            }
            if (averageTemp.contains(key)) {
                temp = (averageTemp.get(key) + value.getTemp()) / 2;
            } else {
                averageTemp.put(key, temp);
            }
            return new Tuple2<String, Double>(key, temp);
        }
    }
}

Спасибо, Фелипе

1 Ответ

0 голосов
/ 01 февраля 2019

После выбора опции "Extract required libraries into generated JAR" все заработало.Странно, потому что я генерировал JAR с параметром "Package required libraries into generated JAR", и он не работал.

...