Kafka log dir не создает сбалансированного в одном брокере - PullRequest
0 голосов
/ 27 декабря 2018

Как показывают рисунки, это в одном из моих брокеров, я замечаю, что каталог разделов журнала не расположен баланс в двух каталогах (монтировать на два диска), я прочитал соответствующий код, и он кажется сбалансированным, какв обоих каталогах должно быть 4 __consumer_offset-x, в отличие от рисунков, один содержит 3 __consumer_offset-x, а другой - 5, так что кто-то может сказать мне, почему это произошло, потому что это может привести к перекосу дискового ввода-вывода.

один каталог: enter image description here

другой каталог: enter image description here

Код, связанный с Кафкой:

private def nextLogDir(): File = {
    if(logDirs.size == 1) {
      logDirs(0)
    } else {
      // count the number of logs in each parent directory (including 0 for empty directories
      val logCounts = allLogs.groupBy(_.dir.getParent).mapValues(_.size)
      val zeros = logDirs.map(dir => (dir.getPath, 0)).toMap
      val dirCounts = (zeros ++ logCounts).toBuffer

      // choose the directory with the least logs in it
      val leastLoaded = dirCounts.sortBy(_._2).head
      new File(leastLoaded._1)
    }
  }
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...