Проблема безопасности потока на карте Go при чтении книги-кеша - PullRequest
Новая
       34

Проблема безопасности потока на карте Go при чтении книги-кеша

0 голосов
/ 01 января 2019

Я читаю книгу, в которой рассказывается, как писать простой кэш, такой как redis.

Чтобы реализовать хэш для распространения, в проекте должен быть мигрирован ключ, для которого требуется итератор.И я думаю, что могут быть некоторые проблемы.

Его книга об итерации карты, но во время итерации удержание блокировки чтения не непрерывно.Причина в том, чтобы не влиять на основной процесс кэширования.Я считаю, что должна быть проблема безопасности потока, потому что основной поток кэша все еще пишет в карту.Я написал демо, но не уверен. 

//book code
type inMemoryScanner struct {
    pair
    pair Chan *pair
    closeCh chan struct{}
}

func (c *inMemoryCache) NewScanner() Scanner {
    pairCh := make(chan *pair)
    closeCh := make(chan struct{})
    go func() {
        defer close(pairCh)
        c.mutex.RLock()
        //the c.c is book's map
        for k, v := range c.c {
            c.mutex.RUnlock()
            select {
            case <-closeCh:
                return
            case pairCh <- &pair{k, v}:
            }
            c.mutex.RLock()
        }
        c.mutex.RUnLock()
     }
     return &inMemoryScanner{pair{}, pairCh, closeCh}
}
//my demo
func main()  {
    testMap := make(map[string]string)
    mutex := sync.RWMutex{}
    for i := 0; i < 64; i ++ {
        mutex.Lock()
        testMap[uuid.New().String()] = uuid.New().String()
        mutex.Unlock()
        fmt.Println("Write")
    }
    go func() {
        for {
            mutex.Lock()
            testMap[uuid.New().String()] = uuid.New().String()
            time.Sleep(100 * time.Millisecond)
            mutex.Unlock()
            fmt.Println("Write")
        }
    } ()
    for k, v := range testMap {
        mutex.RLock()
        fmt.Println("k" + k + "v" + v)
        mutex.RUnlock()
        time.Sleep(100 * time.Millisecond)
    }
}

В моем демо сумма 'Write' и результат карты не равны!И я верю, что в реальном проекте перебалансировка не может быть однажды, должна быть постоянная фоновая работа, не так ли?

1 Ответ

0 голосов
/ 01 января 2019

У вас есть гонка данных.Ваши результаты не определены.

Упрощение кода для его компиляции и запуска, 

package main

import (
    "sync"
    "time"
)

func main() {
    testMap := make(map[string]string)
    mutex := sync.RWMutex{}
    for i := 0; i < 64; i++ {
        mutex.Lock()
        now := time.Now().String()
        testMap[now] = now
        mutex.Unlock()
    }
    go func() {
        for {
            mutex.Lock()
            now := time.Now().String()
            testMap[now] = now
            time.Sleep(100 * time.Millisecond)
            mutex.Unlock()
        }
    }()
    for k, v := range testMap {
        mutex.RLock()
        _, _ = k, v
        mutex.RUnlock()
        time.Sleep(100 * time.Millisecond)
    }
}

Вывод: 

$ go run -race racer.go
==================
WARNING: DATA RACE
Read at 0x00c00008c060 by main goroutine:
  runtime.mapiternext()
      /home/peter/go/src/runtime/map.go:844 +0x0
  main.main()
      /home/peter/gopath/src/racer.go:26 +0x217

Previous write at 0x00c00008c060 by goroutine 5:
  runtime.mapassign_faststr()
      /home/peter/go/src/runtime/map_faststr.go:202 +0x0
  main.main.func1()
      /home/peter/gopath/src/racer.go:21 +0x9b

Goroutine 5 (running) created at:
  main.main()
      /home/peter/gopath/src/racer.go:17 +0x17b
==================
==================
WARNING: DATA RACE
Read at 0x00c0000a6638 by main goroutine:
  main.main()
      /home/peter/gopath/src/racer.go:26 +0x1d0

Previous write at 0x00c0000a6638 by goroutine 5:
  main.main.func1()
      /home/peter/gopath/src/racer.go:21 +0xb0

Goroutine 5 (running) created at:
  main.main()
      /home/peter/gopath/src/racer.go:17 +0x17b
==================
fatal error: concurrent map iteration and map write

goroutine 1 [running]:
runtime.throw(0x4b1eb7, 0x26)
    /home/peter/go/src/runtime/panic.go:617 +0x72 fp=0xc000059e48 sp=0xc000059e18 pc=0x44d722
runtime.mapiternext(0xc000059f28)
    /home/peter/go/src/runtime/map.go:851 +0x55e fp=0xc000059ed0 sp=0xc000059e48 pc=0x434c2e
main.main()
    /home/peter/gopath/src/racer.go:26 +0x218 fp=0xc000059f98 sp=0xc000059ed0 pc=0x48a1f8
runtime.main()
    /home/peter/go/src/runtime/proc.go:200 +0x20c fp=0xc000059fe0 sp=0xc000059f98 pc=0x44f06c
runtime.goexit()
    /home/peter/go/src/runtime/asm_amd64.s:1337 +0x1 fp=0xc000059fe8 sp=0xc000059fe0 pc=0x475751

goroutine 4 [sleep]:
runtime.goparkunlock(...)
    /home/peter/go/src/runtime/proc.go:307
time.Sleep(0x5f5e100)
    /home/peter/go/src/runtime/time.go:105 +0x159
main.main.func1(0xc00001c280, 0xc00008c060)
    /home/peter/gopath/src/racer.go:22 +0x3e
created by main.main
    /home/peter/gopath/src/racer.go:17 +0x17c
exit status 2
$

Вы не являетесьблокировка карты читает, 

for k, v := range testMap {
    mutex.RLock()
    _, _ = k, v
    mutex.RUnlock()
    time.Sleep(100 * time.Millisecond)
}

for k, v := range testMap { ... } читает карту.k, v являются локальными переменными.

Вам необходимо заблокировать чтение карты, 

mutex.RLock()
for k, v := range testMap {
    _, _ = k, v
    time.Sleep(100 * time.Millisecond)
}
mutex.RUnlock()

Go: Data Race Detector

Блог Go: знакомство с детектором Go Race

GopherCon 2016: Кит Рэндалл - реализация карты внутри

...