Как ускорить Кафку при загрузке данных в нее после загрузки того же самого из MongoDB? - PullRequest
0 голосов
/ 23 мая 2018

Я получаю данные из MongoDB и помещаю их в Kafka.357 ответов в секунду - это скорость, с которой осуществляется выборка и публикация.

Как улучшить выборку из MongoDB:

from kafka import KafkaProducer
from kafka.errors import KafkaError
import json
import pymongo
from pymongo import MongoClient
import sys

try:
  client = MongoClient('my_uri')
  db = client["xxx-dev"]
except Exception as e:
    print e
producer = KafkaProducer(bootstrap_servers=['localhost:9092'])
producer = KafkaProducer(retries=5)
id = 1
for response in db.Response.find():
    try:        
        future = producer.send('collect-production-response', bytes(response))
    except Exception as e:
        print e
    id  += 1
    if(id >= 100000):
        print "Done 100k"
        producer.flush()
        sys.exit()
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...