Splunk Загрузить CSV из GCP в поиск KVStore с помощью Python SDK - PullRequest
Новая
       15

Splunk Загрузить CSV из GCP в поиск KVStore с помощью Python SDK

0 голосов
/ 24 января 2020

В настоящее время у нас есть файл CSV 45 МБ, который мы собираемся загрузить в kvstore Splunk. Я хочу иметь возможность выполнить sh через SDK python, но у меня возникают проблемы с загрузкой записей.

Единственный способ найти обновление kvstore - это сервис Функция .collection.insert (), которая, насколько я могу судить, принимает только 1 строку за раз. Поскольку в этом файле содержится 250 тыс. Строк, я не могу позволить, чтобы все строки загружались каждый день.

Это то, что у меня есть: 

 from splunklib import client, binding
 import json, pandas as pd
 from copy import deepcopy

 data_file = '/path/to/file.csv'

 username = 'user'
 password = 'splunk_pass'
 connectionHandler = binding.handler(timeout=12400)
 connect_kwargs = {
     'host': 'splunk-host.com',
     'port': 8089,
     'username': username,
     'password': password,
     'scheme': 'https',
     'autologin': True,
     'handler': connectionHandler
 }
 flag = True
 while flag:
     try:
         service = client.connect(**connect_kwargs)
         service.namespace['owner'] = 'Nobody'
         flag = False
     except binding.HTTPError:
         print('Splunk 504 Error')

 kv = service.kvstore
 kv['test_data'].delete()
 df = pd.read_csv(data_file)
 df.replace(pd.np.nan, '', regex=True)
 df['_key'] = df['key_field']
 result = df.to_dict(orient='records')
 fields = deepcopy(result[0])
 for field in fields.keys():
     fields[field] = type(fields[field]).__name__
 df = df.astype(fields)
 kv.create(name='test_data', fields=fields, owner='nobody', sharing='system')
 for row in result:
     row = json.dumps(row)
     row.replace("nan", "'nan'")
     kv['learning_center'].data.insert(row)
 transforms = service.confs['transforms']
 transforms.create(name='learning_center_lookup', **{'external_type': 'kvstore', 'collection': 'learning_center', 'fields_list': '_key, userGuid', 'owner': 'nobody'})
 # transforms['learning_center_lookup'].delete()
 collection = service.kvstore['learning-center']
 print(collection.data.query())

Кроме того к проблеме бесконечной загрузки четверти миллиона записей, он продолжает терпеть неудачу в строке со значением nan, и независимо от того, что я положил туда, чтобы попытаться справиться с nan, он сохраняется в значении словаря.

1 Ответ

1 голос
/ 27 января 2020

Вы можете напрямую взаимодействовать с конечной точкой REST, а затем использовать storage/collections/data/{collection}/batch_save для сохранения нескольких элементов при необходимости.

См. https://docs.splunk.com/Documentation/Splunk/8.0.1/RESTREF/RESTkvstore#storage .2Fcollections.2Fdata.2F.7Bcollection.7D.2Fbatch_save

...