Как установить время контрольной точки в потоковой передаче Apache Flink? - PullRequest
Новая
       44

Как установить время контрольной точки в потоковой передаче Apache Flink?

1 голос
/ 11 июля 2020

Я запускаю пример Apache Flink с помощью детектора мошенничества с RocksDB в качестве моего государственного сервера. Я хочу знать, сколько времени требуется Apache Flink для проверки состояния.

Мой подход заключается в том, чтобы напечатать время до и после функций контрольной точки.

Я не смог найти функцию / класс или любой фрагмент кода, который проверяет состояние, которое я пытался отлаживать через IDE, но тщетно.

Это то, через что я прошел до сих пор: 

/*
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */

package spendreport;

import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.walkthrough.common.sink.AlertSink;
import org.apache.flink.walkthrough.common.entity.Alert;
import org.apache.flink.walkthrough.common.entity.Transaction;
import org.apache.flink.walkthrough.common.source.TransactionSource;
//org.apache.flink.contrib.streaming.state
import org.apache.flink.contrib.streaming.state.RocksDBStateBackend;

import javax.security.auth.login.Configuration;

/**
 * Skeleton code for the datastream walkthrough
 */
public class FraudDetectionJob {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
//      env.setStateBackend(new RocksDBStateBackend(filebackend, true));

        // Enabling Checkpoint
        long checkpointInterval = 5000;
        env.enableCheckpointing(checkpointInterval);

        // Enable Web UI
//      Configuration conf = new Configuration();
//      env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);

        DataStream<Transaction> transactions = env
            .addSource(new TransactionSource())
            .name("transactions");

        DataStream<Alert> alerts = transactions
                .keyBy(Transaction::getAccountId)
                .process(new FraudDetector())
                .name("fraud-detector");

        alerts
            .addSink(new AlertSink())
            .name("send-alerts");

        env.execute("Fraud Detection");
    }
}

I шаг в функция execute и найдите много мест, где код устанавливает конфигурацию для контрольной точки (например, проверка интервала тайм-аута и т. Д. c). Однако мне не удалось найти функцию, которая на самом деле проверяет, выполняет контрольную точку.

1 Ответ

1 голос
/ 11 июля 2020

Самостоятельно измерить это будет непросто, поскольку контрольные точки частично выполняются в потоке, в котором выполняются ваши пользовательские функции, а частично асинхронно - в другом потоке.

Лучший способ получить некоторую информацию о влиянии контрольных точек - это посмотреть на показатели контрольных точек, которые удобно собираются вместе и отображаются в веб-интерфейсе:

enter image description here

Normally the web UI isn't available when you are running in the IDE, but you can change this:

Configuration conf = new Configuration();
env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);

Чтобы это работало , вам также нужно будет добавить эту зависимость: 

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-runtime-web_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>
...