NiFi - Non-Heap Used становится все больше - PullRequest
Новая
       36

NiFi - Non-Heap Used становится все больше

0 голосов
/ 24 июня 2019

NiFi Cluster

2 Узел (ЦП: 4/8, Память: 32 ГБ; NiFi JVM: 1 ГБ) NiFi Cluster.

Этот NiFi предназначен для использования в ETL, основной процессор - ExecuteSQL.Общая загрузка процессора составляет 2 КБ.

Проблема заключается в следующем: использование памяти без головки заняло более 3 ГБ памяти, для которой jvm просто установлено на 1 ГБ.

настройка jvm 

java.arg.2=-Xms1G
java.arg.3=-Xmx1G
// other args set to default

использование

enter image description here

enter image description here

{
  "systemDiagnostics": {
    "aggregateSnapshot": {
      "totalNonHeap": "7.56 GB",
      "totalNonHeapBytes": 8118382592,
      "usedNonHeap": "7.38 GB",
      "usedNonHeapBytes": 7927382112,
      "freeNonHeap": "182.15 MB",
      "freeNonHeapBytes": 191000480,
      "maxNonHeap": "-2 bytes",
      "maxNonHeapBytes": -2,
      "nonHeapUtilization": "-1.232114368E9%",
      "totalHeap": "2 GB",
      "totalHeapBytes": 2147483648,
      "usedHeap": "1.66 GB",
      "usedHeapBytes": 1784031344,
      "freeHeap": "346.62 MB",
      "freeHeapBytes": 363452304,
      "maxHeap": "2 GB",
      "maxHeapBytes": 2147483648,
      "heapUtilization": "83.0%",
      "availableProcessors": 16,
      "processorLoadAverage": 7.529999999999999,
      "totalThreads": 768,
      "daemonThreads": 617,
      "uptime": "218:04:38.693",
      "flowFileRepositoryStorageUsage": {
        "freeSpace": "727.24 GB",
        "totalSpace": "984.06 GB",
        "usedSpace": "256.82 GB",
        "freeSpaceBytes": 780865024000,
        "totalSpaceBytes": 1056621576192,
        "usedSpaceBytes": 275756552192,
        "utilization": "26.0%"
      },
      "contentRepositoryStorageUsage": [
        {
          "identifier": "default",
          "freeSpace": "727.24 GB",
          "totalSpace": "984.06 GB",
          "usedSpace": "256.82 GB",
          "freeSpaceBytes": 780865024000,
          "totalSpaceBytes": 1056621576192,
          "usedSpaceBytes": 275756552192,
          "utilization": "26.0%"
        }
      ],
      "provenanceRepositoryStorageUsage": [
        {
          "identifier": "default",
          "freeSpace": "727.24 GB",
          "totalSpace": "984.06 GB",
          "usedSpace": "256.82 GB",
          "freeSpaceBytes": 780865024000,
          "totalSpaceBytes": 1056621576192,
          "usedSpaceBytes": 275756552192,
          "utilization": "26.0%"
        }
      ],
      "garbageCollection": [
        {
          "name": "G1 Young Generation",
          "collectionCount": 442716,
          "collectionTime": "12:12:02.124",
          "collectionMillis": 43922124
        },
        {
          "name": "G1 Old Generation",
          "collectionCount": 8,
          "collectionTime": "00:00:20.826",
          "collectionMillis": 20826
        }
      ],
      "statsLastRefreshed": "11:24:32 CST",
      "versionInfo": {
        "niFiVersion": "1.9.2",
        "javaVendor": "Oracle Corporation",
        "javaVersion": "1.8.0_161",
        "osName": "Linux",
        "osVersion": "4.4.0-93-generic",
        "osArchitecture": "amd64",
        "buildTag": "nifi-1.9.2-RC2",
        "buildRevision": "ff01ff6",
        "buildBranch": "NIFI-6169-RC2",
        "buildTimestamp": "04/03/2019 15:25:53 CST"
      }
    }
  }
}

Как можно снизитьне головное использование?

Речь идет о почти 2 К процессорах?или по другим причинам?

обновление

добавить jmap -histo:live [pid] > histo-live.txt файл histo-live.txt

...