Redis теряет соединение в докере - PullRequest
0 голосов
/ 18 ноября 2018

Я создаю PubSub с помощью redigo, и соединение создается с помощью пула redis.

Это код пула Redis:

package main

import (
    "os"
    "os/signal"
    "syscall"
    "time"

    "github.com/gomodule/redigo/redis"
)

type IRedis interface {
    Addr() string
    Conn() redis.Conn
    Set(key string, body string) error
    Close()
}

type Redis struct {
    addr string
    pool *redis.Pool
}

func NewRedis(addr string) *Redis {
    r := &Redis{
        addr,
        &redis.Pool{
            MaxIdle:     50000,
            IdleTimeout: 240 * time.Second,
            Dial: func() (redis.Conn, error) {
                c, err := redis.Dial("tcp", addr)
                if err != nil {
                    return nil, err
                }
                return c, err
            },
            TestOnBorrow: func(c redis.Conn, t time.Time) error {
                _, err := c.Do("PING")
                return err
            },
        },
    }

    r.cleanupHook()
    return r
}

func (r *Redis) cleanupHook() {
    c := make(chan os.Signal, 1)
    signal.Notify(c, os.Interrupt)
    signal.Notify(c, syscall.SIGTERM)
    signal.Notify(c, syscall.SIGKILL)
    go func() {
        <-c
        r.pool.Close()
        os.Exit(0)
    }()
}

func (r *Redis) Addr() string {
    return r.addr
}

func (r *Redis) Conn() redis.Conn {
    return r.pool.Get()
}

func (r *Redis) Set(key string, body string) error {
    p := r.pool.Get()
    defer p.Close()

    _, err := p.Do("SET", key, body)
    return err
}

func (r *Redis) Close() {
    r.pool.Close()
}

Это мой код PubSub:

package main

import (
    "log"

    "github.com/gomodule/redigo/redis"
)

type PubSub struct {
    send chan string
    conn *redis.PubSubConn
}

func NewPubSub(s chan string, c *redis.PubSubConn) (*PubSub, error) {
    err := c.Subscribe("urls")
    if err != nil {
        return nil, err
    }

    return &PubSub{s, c}, nil
}

func (ps *PubSub) Start() {
    for {
        switch v := ps.conn.Receive().(type) {
        case redis.Message:
            data := string(v.Data)
            ps.send <- data

        case redis.Subscription:
            log.Printf("subscription message: %s: %s %d\n", v.Channel, v.Kind, v.Count)

        case error:
            log.Println("error:", v)
            return
        }
    }
}

func (ps *PubSub) Close() {
    ps.conn.Close()
}

и после того, как я получил 10 тыс. Сообщений в моем канале PubSub, соединение теряется, и я получаю сообщение redis.Error с сообщением EOF

Есть мысли, почему это происходит?Даже когда я бегу локально, проблема возникает

1 Ответ

0 голосов
/ 19 ноября 2018

Проблема была в параметре redis conf, называемом client-output-buffer-limit pubsub, значение по умолчанию которого составляет 32 МБ 8 МБ 60, а при достижении лимита redis закрывает соединение с pubsub.Чтобы решить эту проблему, я увеличил значение.

...