Отправка CSV-файла на influenxDB - PullRequest
Новая
       21

Отправка CSV-файла на influenxDB

0 голосов
/ 09 июля 2019

У меня есть приличный сценарий PowerShell для получения журналов событий и их экспорта в CSV, для чего я собираюсь затем проанализировать файл influenxDB, и я попробовал несколько способов.из которых:

  • Потоковая передача в Telegraf через PowerShell.Посылал бы пакеты, но я не думаю, что что-то было в пакетах из-за некоторого способа кодирования текста над моей головой.

  • POST-запросы через API.

  • Сторонние программы (хотя они были сфокусированы на Syslog, а также не помогали).

Теперь я нашел скрипт Python на Github , которыйотправит файл CSV на мой сервер Influx, который будет идеальным и будет выглядеть так, как будто он будет работать, за исключением того факта, что он выдает ошибку об отметках времени.И хотя этот скрипт Python действительно подключается и может создавать базу данных, похоже, что есть ошибка с отметкой времени из журнала событий, и даже если я вручную изменил ее на отметку времени по умолчанию, в самом файле CSV он по-прежнему жалуется на: 

python.exe : Traceback (most recent call last):
At line:1 char:1
+ python.exe .\csv-to-influx\csv-to-influxdb.py `
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : NotSpecified: (Traceback (most recent call last)::String) [], RemoteException
    + FullyQualifiedErrorId : NativeCommandError

  File ".\csv-to-influx\csv-to-influxdb.py", line 175, in 
    args.timezone)
  File ".\csv-to-influx\csv-to-influxdb.py", line 68, in loadCsv
    for row in reader:
  File "C:\Users\alexander.hansen\AppData\Local\Programs\Python\Python37-32\lib\csv.py", line 111, in __next__
    self.fieldnames
  File "C:\Users\alexander.hansen\AppData\Local\Programs\Python\Python37-32\lib\csv.py", line 98, in fieldnames
    self._fieldnames = next(self.reader)
_csv.Error: line contains NULL byte

Это возникает, когда вы пытаетесь вставить эту 1 строку CSV с помощью скрипта Py: 

EntryType,"TimeGenerated","Source","EventID","MachineName","Message"
Warning,"2019-07-03 13:27:03","Group Policy Local Users and Groups","4098","Hostname","The computer 'admin' preference item in the ---' Group Policy Object did not apply because it failed with error code '0x8007052a This operation is disallowed as it could result in an administration account being disabled, deleted or unable to logon.' This error was suppressed."

Мне бы очень хотелось понять, в чем проблема, но яЯ просто не уверен.CSV вроде бы так и должно быть?

1 Ответ

0 голосов
/ 19 июля 2019

Я нашел расширение экспорта csv в приток.https://github.com/Bugazelle/export-csv-to-influx

Установить с помощью: pip install ExportCsvToInflux 

export_csv_to_influx \
--csv test.csv \
--dbname test \
--measurement sample \
--tag_columns EntryType,Source,MachineName \
--field_columns EntryType,Source,EventID,MachineName,Message \
--time_column TimeGenerated \
--user admin \
--password admin \
--server 127.0.0.1:8086

Вот данные о притоке: 

> use test
Using database test
> select * from sample
name: sample
time                EntryType EntryType_1 EventID MachineName MachineName_1 Message                                                                                                                                                                                                                                                                               Source                              Source_1
----                --------- ----------- ------- ----------- ------------- -------                                                                                                                                                                                                                                                                               ------                              --------
1562160423000000000 Warning   Warning     4098    Hostname    Hostname      The computer 'admin' preference item in the ---' Group Policy Object did not apply because it failed with error code '0x8007052a This operation is disallowed as it could result in an administration account being disabled, deleted or unable to logon.' This error was suppressed. Group Policy Local Users and Groups Group Policy Local Users and Groups
>
...