Проблема:
У меня есть API, который извлекает данные из нескольких эластичных индексов и объединяет их в одну запись JSON и возвращает при вызове API.Кроме того, результаты, извлекаемые из API, обычно огромны.
Итак, у меня есть скрипт-обертка, который получает все данные из API за день.Но здесь, в моем коде, есть массив с именем results, когда данные за день меньше. Я не получаю проблемы.Но когда данные, собранные за день, огромны, весь массив находится в оперативной памяти и вызывает замедление системы.
Моим основным намерением создать этот массив является экспорт в монго, которое в другой сети,который я могу напрямую скопировать из своей сети.
Фрагмент кода:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from __future__ import division, print_function, absolute_import
import argparse
import sys
import logging
import MySQLdb
import requests
import json
import time
_logger = logging.getLogger(__name__)
def get_samples(date,end):
"""
Get Samples hashes form Database
:param date: date of sample arrival
:return list_of_hashes
"""
try:
results = []
cur_time = time.time()
with open('config.json','r') as c:
config = json.load(c)
_logger.info('Entering into database {}'.format(date))
connection = MySQLdb.connect(config['malware_mysql'],"root","root","meta")
cursor = connection.cursor()
cursor.execute("SELECT MD5 from some where `Last_Seen` BETWEEN '{} 00:00:00' AND '{} 23:59:59'".format(date,end))
hashes = cursor.fetchall()
for hash in hashes:
_logger.info('Hash {}'.format(hash[0]))
try:
response = requests.get('http://{}:{}/some/{}'.format(config['a'],config['b'],hash[0]))
_logger.info('Result from API {}'.format(response))
if response.status_code == 200:
results.append(json.loads(response.text))
else:
_logger.error('Error in Querying API {} for hash {}'.format(response.status_code,hash))
except Exception as e:
_logger.error('Error in querying database {} - {}'.format(hash,e))
connection.close()
with open('{}_{}.json'.format(date,end),'w') as f:
f.write(json.dumps(results))
except KeyboardInterrupt:
print('Bye')
except Exception as e:
_logger.error('Error in querying database final {}'.format(e))
return '{} completed'.format(date)
def parse_args(args):
"""
Parse command line parameters
:param args: command line parameters as list of strings
:return: command line parameters as :obj:`airgparse.Namespace`
"""
parser = argparse.ArgumentParser(
description="Enter date to Export")
parser.add_argument(
dest="date",
help="Date of Sample Arrival in format 2018-08-16",
)
parser.add_argument(
dest="end",
help="Date of Sample Arrival end",
)
return parser.parse_args(args)
def main(args):
args = parse_args(args)
print("{} Samples are quiered -- {}".format(args.date, get_samples(args.date,args.end)))
_logger.info("Script ends here")
def run():
logging.basicConfig(level=logging.INFO, stream=sys.stdout)
main(sys.argv[1:])
if __name__ == "__main__":
run()
Почему я это делаю? Я хочу экспортировать весь деньзаписи из API и передачи этого файла JSON в mongo с помощью mongoimport.
Что мне нужно? Альтернативное решение, позволяющее предотвратить весь этот массив в оперативной памяти и замедлить работу системы.Другое решение, которое делает решение более эффективным.