Вставлять собранные RAW-данные в Influxdb, только когда требуется / определенный интервал времени - PullRequest
Новая
       80

Вставлять собранные RAW-данные в Influxdb, только когда требуется / определенный интервал времени

0 голосов
/ 13 февраля 2019

Мы сталкиваемся и сталкиваемся с проблемой при попытке вставить данные в файл infxdb, которые можно получить из графана.На данный момент идет тест, в который мы вставляем напрямую из collectd с хоста и в базу данных diffxdb, дело в том, что это становится довольно большим, и это только информация с одного хоста, у нас есть сотни хостов в нашей PRODсреда, которая является нашей главной целью.

То, что мы пытаемся сделать, - это вставлять только данные всякий раз, когда нам нужно исследовать сбой, для этого мы планируем сделать это из файлов RAW, которые собирает правильносейчас.Мы нашли решение, которое существует, но для NMON, которое делает именно то, что нам нужно, но для файлов NMON, но я, честно говоря, ничего не знаю о Golang, который является языком, который они использовали для этого, или, по крайней мере, я так думаю.

Я обнаружил в этом сообществе, что есть плагин PARSER, который является частью telegraf, но я не могу найти его, как я могу использовать его, чтобы взять информацию из RAW-файла, предоставленного collectd, и вставить ее в файл effxdb.

Я был бы очень признателен, если бы кто-нибудь дал мне совет по этому вопросу.

Заранее спасибо.

ВЫБОР ВЫХОДА: 

    ################################################################################
    # Collectl:   V3.6.5-2  HiRes: 1  Options: -D
    # Host:       localhost  DaemonOpts: -f /var/log/collectl -r00:00,7,60 -m -F60 -s+YZ -i60
    # Booted:     1548722801.34 [20190128-18:46:41]
    # Distro:     Red Hat Enterprise Linux Server release 6.9 (Santiago)  Platform: VMware Virtual Platform
    # Date:       20190130-230000  Secs: 1548910800 TZ: -0600
    # SubSys:     bcdfijmnstYZ Options:  Interval: 60:60 NumCPUs: 10  NumBud: 3 Flags: ix
    # Filters:    NfsFilt:  EnvFilt:  TcpFilt: ituc
    # HZ:         100  Arch: x86_64-linux-thread-multi PageSize: 4096
    # Cpu:        GenuineIntel Speed(MHz): 2992.968 Cores: 1  Siblings: 1 Nodes: 1
    # Kernel:     2.6.32-696.20.1.el6.x86_64  Memory: 198339428 kB  Swap: 17825788 kB
    # NumDisks:   22 DiskNames: sda sdb sdc sde sdd dm-0 dm-1 dm-2 dm-3 dm-4 dm-5 dm-6 dm-7 dm-8 dm-9 dm-10 dm-11 dm-12 dm-13 dm-14 dm-15 dm-16
    # NumNets:    3 NetNames: lo:?? eth0:10000 eth1:10000
    # NumSlabs:   201 Version: 2.1
    # SCSI:       CD:1:00:00:00 DA:2:00:00:00 DA:2:00:01:00 DA:2:00:02:00 DA:2:00:03:00 DA:2:00:04:00
    ################################################################################
    >>> 1548910800.001 <<<
    buddy Node 0, zone      DMA      1      1      1      3      3      2      1      1      0      0      2
    buddy Node 0, zone    DMA32     14     18     15     17     14      7      7     11      8      4    106
    buddy Node 0, zone   Normal    403    386   5583   3572  13604  10598   7080   3627   2055      2     27
    cpu  22087348 256 7084173 153333789 15626 4857 2989099 0 0
    cpu0 2343703 23 756440 15044112 1503 394 389489 0 0
    cpu1 1424427 40 403584 16804532 1978 2 13682 0 0
    cpu2 1400317 30 399191 16835804 1824 1 12608 0 0
    cpu3 2373492 20 777245 15024216 1405 441 357515 0 0
    cpu4 2305879 21 754504 15129573 1544 395 334811 0 0
    cpu5 2406073 20 826459 14953667 1377 1854 337925 0 0
    cpu6 2524873 19 813584 14794741 1330 456 388679 0 0
    cpu7 2377199 26 774277 14997185 1586 440 369269 0 0
    cpu8 2431979 19 818481 14856251 1454 501 415840 0 0
    cpu9 2499402 33 760403 14893703 1620 370 369277 0 0
    intr 5904658682
    ctxt 4292174746
    processes 1824586
    procs_running 3
    procs_blocked 0
    int    0:        844          0          0          0          0          0          0          0          0          0   IO-APIC-edge      timer
    int    1:         10       1146          0          0          0          0          0          0          0          0   IO-APIC-edge      i8042
    int    8:          1          0          0          0          0          0          0          0          0          0   IO-APIC-edge      rtc0
    int    9:          0          0          0          0          0          0          0          0          0          0   IO-APIC-fasteoi   acpi
    int   12:        110          0          0       1080          0          0          0          0          0          0   IO-APIC-edge      i8042
    int   14:          0          0          0          0          0          0          0          0          0          0   IO-APIC-edge      ata_piix
    int   15:         95          0          0          0          0     639862          0          0          0          0   IO-APIC-edge      ata_piix
    int   16:          4          0          0          0          0          0          0          0          0          2   IO-APIC-fasteoi   vmwgfx
    int   24:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   25:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   26:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   27:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   28:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   29:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   30:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   31:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   32:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   33:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   34:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   35:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   36:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   37:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   38:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   39:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
    int   40:          0          0          0          0          0          0          0          0          0          0   PCI-MSI-edge      pciehp
disk  253       3 dm-3 817 0 6530 1019 1 0 8 6 0 187 1025
disk  253       4 dm-4 261 0 3298 154 78648 0 629184 94613 0 12780 94788
disk  253       5 dm-5 122 0 970 30 1 0 8 0 0 30 30
disk  253       6 dm-6 128 0 1018 49 1 0 8 6 0 55 55
disk  253       7 dm-7 122 0 970 43 1 0 8 0 0 43 43
disk  253       8 dm-8 14705 0 173314 18512 30827989 0 246623912 309099632 0 580567 309838167
disk  253       9 dm-9 257 0 2050 167 1 0 8 0 0 80 167
disk  253      10 dm-10 142 0 1130 58 112 0 896 81 0 107 139
disk  253      11 dm-11 26758 0 1183658 26638 9156 0 73248 27014 0 15012 53652
disk  253      12 dm-12 133 0 1058 59 6 0 48 2 0 49 61
disk  253      13 dm-13 133 0 1058 56 6 0 48 2 0 46 58
disk  253      14 dm-14 5088 0 615178 3932 107319 0 858552 1285013 0 3111 1288946
disk  253      15 dm-15 15240 0 410298 10749 1538387 0 12307096 7551698 0 121712 7567479
disk  253      16 dm-16 544 0 20778 753 989864 0 7918912 2153755 0 479168 2155269
load 0.21 0.16 0.10 1/2757 24089
tcp-Ip: Forwarding DefaultTTL InReceives InHdrErrors InAddrErrors ForwDatagrams InUnknownProtos InDiscards InDelivers OutRequests OutDiscards OutNoRoutes ReasmTimeout ReasmReqds ReasmOKs ReasmFails FragOKs FragFails FragCreates
tcp-Ip: 2 64 2345808100 0 65987 0 0 0 2345023989 2542097859 0 88 0 1374787 657103 0 658849 0 1378045
tcp-Icmp: InMsgs InErrors InDestUnreachs InTimeExcds InParmProbs InSrcQuenchs InRedirects InEchos InEchoReps InTimestamps InTimestampReps InAddrMasks InAddrMaskReps OutMsgs OutErrors OutDestUnreachs OutTimeExcds OutParmProbs OutSrcQuenchs OutRedirects OutEchos OutEchoReps OutTimestamps OutTimestampReps OutAddrMasks OutAddrMaskReps
tcp-Icmp: 9644 24 1453 0 0 0 0 4223 3966 2 0 0 0 10125 0 1934 0 0 0 0 3966 4223 0 2 0 0
tcp-Tcp: RtoAlgorithm RtoMin RtoMax MaxConn ActiveOpens PassiveOpens AttemptFails EstabResets CurrEstab InSegs OutSegs RetransSegs InErrs OutRsts
tcp-Tcp: 1 200 120000 -1 189518 203747 116 1705 1538 2337716464 2532808789 6750 1 1108
tcp-Udp: InDatagrams NoPorts InErrors OutDatagrams RcvbufErrors SndbufErrors
tcp-Udp: 7155937 2287 12361 9272237 1 0
fs-ds 279615    266755  45      0       0       0
fs-is 121177    118
fs-fnr 9728     0       6815744
nfsc-net 0 0 0 0
nfsc-rpc 499842 1085 499886
nfsc-proc2 18 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
nfsc-proc3 22 0 105381 0 2333 383140 6 1704 0 0 0 0 0 0 0 0 0 0 44 7201 20 10 0

1 Ответ

0 голосов
/ 14 февраля 2019

Документы Telegraf показывают пример того, как читать файл collectd, вы используете ввод файла и используете data_format = "collectd" для использования анализатора collectd.

Примечание, InfluxDB может принимать CollectD напрямую.(для этого может потребоваться этот файл , который, по-видимому, не включен в мою установку)

Для ограничения скорости, проверьте интервал коллекций , или, если вы предпочитаете использоватьtelegraf, у него также есть такая опция .
Я не уверен насчет параметров InflowDB для этого, но их функции понижающей дискретизации и хранения могут вас заинтересовать.

...