Я получаю данные из MongoDB и помещаю их в Kafka.357 ответов в секунду - это скорость, с которой осуществляется выборка и публикация.
Как улучшить выборку из MongoDB:
from kafka import KafkaProducer
from kafka.errors import KafkaError
import json
import pymongo
from pymongo import MongoClient
import sys
try:
client = MongoClient('my_uri')
db = client["xxx-dev"]
except Exception as e:
print e
producer = KafkaProducer(bootstrap_servers=['localhost:9092'])
producer = KafkaProducer(retries=5)
id = 1
for response in db.Response.find():
try:
future = producer.send('collect-production-response', bytes(response))
except Exception as e:
print e
id += 1
if(id >= 100000):
print "Done 100k"
producer.flush()
sys.exit()