Как подписаться с самого начала - PullRequest
0 голосов
/ 23 февраля 2019

Я пытаюсь написать Kafka Consumer с GroupId foo, который подписывается на определенную тему и читает с самого начала (, даже если есть предыдущее смещение ),Я пытался использовать Subscribe с обратным вызовом rebalance, но, кажется, он никогда не вызывался (установил настройку go.application).

Есть ли какой-нибудь пример, как можно заставить эту работу работать?


РЕДАКТИРОВАТЬ : добавлено больше деталей

Ответы [ 2 ]

0 голосов
/ 25 февраля 2019

Теперь мы установили enable.auto.commit на false.Таким образом, смещение не будет сохранено, и мы потребляем с самого начала при каждом запуске просто отлично.

0 голосов
/ 23 февраля 2019

Этот пример из Confluent Kafka go Github , вам может понадобиться только установить значение auto.offset.reset в kafka.OffsetBeginning.String():

package main

/**
 * Copyright 2016 Confluent Inc.
 */

// consumer_example implements a consumer using the non-channel Poll() API
// to retrieve messages and events.

import (
    "fmt"
    "github.com/confluentinc/confluent-kafka-go/kafka"
    "os"
    "os/signal"
    "syscall"
)

func main() {

    broker := "YOUR_BROKER"
    group := "YOUR_GROUP"
    topics := "YOUR_TOPICS"
    sigchan := make(chan os.Signal, 1)
    signal.Notify(sigchan, syscall.SIGINT, syscall.SIGTERM)

    c, err := kafka.NewConsumer(&kafka.ConfigMap{
        "bootstrap.servers":  broker,
        "group.id":           group,
        "session.timeout.ms": 6000,
        "auto.offset.reset":  kafka.OffsetBeginning.String()})

    if err != nil {
        fmt.Fprintf(os.Stderr, "Failed to create consumer: %s\n", err)
        os.Exit(1)
    }

    fmt.Printf("Created Consumer %v\n", c)

    err = c.SubscribeTopics(topics, nil)

    run := true

    for run == true {
        select {
        case sig := <-sigchan:
            fmt.Printf("Caught signal %v: terminating\n", sig)
            run = false
        default:
            ev := c.Poll(100)
            if ev == nil {
                continue
            }

            switch e := ev.(type) {
            case *kafka.Message:
                fmt.Printf("%% Message on %s:\n%s\n",
                    e.TopicPartition, string(e.Value))
                if e.Headers != nil {
                    fmt.Printf("%% Headers: %v\n", e.Headers)
                }
            case kafka.Error:
                // Errors should generally be considered as informational, the client will try to automatically recover
                fmt.Fprintf(os.Stderr, "%% Error: %v\n", e)
            default:
                fmt.Printf("Ignored %v\n", e)
            }
        }
    }

    fmt.Printf("Closing consumer\n")
    c.Close()
}
...