Apache Flink: реализация ProcessWindowFunction - PullRequest
Новая
       5

Apache Flink: реализация ProcessWindowFunction

0 голосов
/ 30 ноября 2018

Я пытаюсь использовать ProcessWindowFunction в моем проекте Apache Flink с использованием Scala.К сожалению, я уже не могу реализовать базовую функцию ProcessWindowFunction, как она используется в документации Apache Flink.

Это мой код: 

import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, _}
import org.apache.flink.streaming.api.windowing.time.Time
import org.fiware.cosmos.orion.flink.connector.{NgsiEvent, OrionSource}
import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction
import org.apache.flink.streaming.api.windowing.windows.TimeWindow
import org.apache.flink.streaming.api.windowing.assigners.SlidingProcessingTimeWindows
import org.apache.flink.util.Collector
import scala.collection.TraversableOnce

object StreamingJob {
 def main(args: Array[String]) {

 val env = StreamExecutionEnvironment.getExecutionEnvironment
 val eventStream = env.addSource(new OrionSource(9001))

 val processedDataStream = eventStream.flatMap(event => event.entities)
   .map(entity => (entity.id, entity.attrs("temperature").value.asInstanceOf[String]))
     .keyBy(_._1)
     .window(SlidingProcessingTimeWindows.of(Time.seconds(10), Time.seconds(5)))
     .process(new MyProcessWindowFunction())

 env.execute("Socket Window NgsiEvent")
 }
}


private class MyProcessWindowFunction extends ProcessWindowFunction[(String, String), String, String, TimeWindow] {

def process(key: String, context: Context, input: Iterable[(String, String)], out: Collector[String]): Unit = {
  var count: Int = 0
  for (in <- input) {
    count = count + 1
  }
  out.collect(s"Window ${context.window} count: $count")
 }
}

От IntelliJ я получаю следующие подсказки:

1) Это показано, когда создается новый объект класса: 

Type mismatch, expected: ProcessWindowFunction[(String, String), NotInferedR, String, TimeWindow], actual: MyProcessWindowFunction

2) Это показано непосредственно в классе: 

Class 'MyProcessWindowFunction' must either be declared abstract or implement abstract member 'process(key:KEY, context:ProcessWindowFunction.Context, iterable:Iterable<IN>, collector:Collector<OUT>):void' in 'org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction'

Создание кода показывает мнеследующая ошибка: 

Error:(51, 16) type mismatch;
found   : org.apache.flink.MyProcessWindowFunction
required: 
org.apache.flink.streaming.api.scala.function.ProcessWindowFunction[(String, String),?,String,org.apache.flink.streaming.api.windowing.windows.TimeWindow]
  .process(new MyProcessWindowFunction())

Я благодарен за любую помощь.

1 Ответ

0 голосов
/ 06 декабря 2018

Потратив некоторое время на отладку еще с 2 людьми, мы наконец нашли проблему.

В моем коде я использовал следующий импорт: 

import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction

Но правильный импорт при использованииСкала выглядит так: 

import org.apache.flink.streaming.api.scala.function.ProcessWindowFunction
...