Как совместить альпакку кафку с вебкассетой akka stream - PullRequest
Новая
       27

Как совместить альпакку кафку с вебкассетой akka stream

0 голосов
/ 11 апреля 2019

Я использую https://doc.akka.io/docs/alpakka-kafka/current/consumer.html для получения данных из kafka следующим образом: 

implicit val system: ActorSystem = ActorSystem("SAPEVENTBUS")
implicit val materializer: Materializer = ActorMaterializer()

val config = system.settings.config.getConfig("akka.kafka.consumer")
val consumerSettings =
  ConsumerSettings(config, new StringDeserializer, new StringDeserializer)
    .withBootstrapServers("localhost:9092")
    .withGroupId("SAP-BUS")
    .withProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest")
    .withProperty(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true")
    .withProperty(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "5000")

val kafkaConsumer =  Consumer
  .plainSource(
    consumerSettings,
    Subscriptions.topics("SAPEVENTBUS"))
  .toMat(Sink.foreach(println))(Keep.both)
  .mapMaterializedValue(DrainingControl.apply)

Далее я перешлю полученный результат на веб-сервер через akka http websocket client

Вот как можно создать клиент websocket: 

implicit val system = ActorSystem()
implicit val materializer = ActorMaterializer()
import system.dispatcher

// print each incoming strict text message
val printSink: Sink[Message, Future[Done]] =
  Sink.foreach {
    case message: TextMessage.Strict =>
      println(message.text)
  }

val helloSource: Source[Message, NotUsed] =
  Source.single(TextMessage("hello world!"))

// the Future[Done] is the materialized value of Sink.foreach
// and it is completed when the stream completes
val flow: Flow[Message, Message, Future[Done]] =
  Flow.fromSinkAndSourceMat(printSink, helloSource)(Keep.left)

// upgradeResponse is a Future[WebSocketUpgradeResponse] that
// completes or fails when the connection succeeds or fails
// and closed is a Future[Done] representing the stream completion from above
val (upgradeResponse, closed) =
  Http().singleWebSocketRequest(WebSocketRequest("ws://echo.websocket.org"), flow)

val connected = upgradeResponse.map { upgrade =>
  // just like a regular http request we can access response status which is available via upgrade.response.status
  // status code 101 (Switching Protocols) indicates that server support WebSockets
  if (upgrade.response.status == StatusCodes.SwitchingProtocols) {
    Done
  } else {
    throw new RuntimeException(s"Connection failed: ${upgrade.response.status}")
  }
}

У меня есть два вопроса:

  1. Как объединить клиента и клиента websocket в один поток и пусть он отправит сообщение на веб-сервер.

  2. Я хотел бы передать полученное сообщение с веб-сервера на две раковины в зависимости от содержимого.

Как построить такой график?

1 Ответ

2 голосов
/ 12 апреля 2019

Если вы планируете помещать все сообщения Kafka в веб-сокет без обработки ответа, вы должны написать обработчик сообщений веб-сокета в истинном двунаправленном сценарии, где вход и выход не связаны логически : 

//Kafka reading logic
val kafkaSource: Source[ConsumerRecord[String, String], Consumer.Control] = Consumer
    .plainSource(consumerSettings, Subscriptions.topics("SAPEVENTBUS"))
//kafka message serialization logic
val kafkaRecordToMessageTransform: Flow[ConsumerRecord[String, String], Message, NotUsed] =
    Flow[ConsumerRecord[String, String]].map[Message](consumerRecord => {
        TextMessage.Strict(s"${consumerRecord.key} - ${consumerRecord.value}")
    })

//web socket's messages sending logic
val webSocketWriteLogic: Source[Message, Consumer.Control] =
    kafkaSource.via(kafkaRecordToMessageTransform)

//web socket's messages receiving logic
val webSocketReadLogic: Sink[Message, NotUsed] = Flow[Message].mapAsync[String](1)({
    case textMessage: TextMessage =>
        textMessage.toStrict(collectTimeout).map(_.text)
    case binaryMessage: BinaryMessage =>
        binaryMessage.toStrict(collectTimeout).map(_.data.toString())
}).to(Sink.foreach[String](messageText => println(s"received $messageText")))

//web socket's logic
val webSocketLogic: Flow[Message, Message, Consumer.Control] =
    Flow.fromSinkAndSourceMat(webSocketReadLogic, webSocketWriteLogic)(Keep.right)

Вы можете транслировать потоковые сообщения на несколько Sinks в зависимости от некоторых условий с помощью stage stage .Также вы можете проверить это объяснение .

...