Стабильная производительность сети Python со временем снижается? - PullRequest
Новая
       11

Стабильная производительность сети Python со временем снижается?

8 голосов
/ 17 февраля 2009

Итак, я играю с Python без стеков и пишу очень простой веб-сервер для обучения программированию с помощью микропотоков / тасклетов. Но теперь, к моей проблеме, когда я запускаю что-то вроде ab -n 100000 -c 50 http://192.168.0.192/ (100k запросов, 50 параллелизм) в Apache Bench, я получаю что-то вроде 6k req / s, при втором запуске я получаю 5.5k, третий раз 5k, четвертый , 4.5k и т. Д. Вплоть до 100req / s или около того.

Однако проблема исчезает, когда я перезапускаю скрипт на python.

Теперь мой вопрос: почему? Я забыл удалить тасклеты? Я проверил stackless.getruncount () (и он всегда, по некоторым причинам, возвращает 1), так что не похоже, что там будут какие-то мертвые тасклеты? Я пытался вызвать .kill () для всех выполненных тасклетов, не помогло. Я просто не могу понять это. 

import socket
import select
import stackless
import time

class socket_wrapper(object):
    def __init__(self, sock, sockets):
        super(socket_wrapper, self).__init__()
        self.sock = sock
        self.fileno = sock.fileno
        self.sockets_list = sockets
        self.channel = stackless.channel()
        self.writable = False
        self.error = False

    def remove(self):
        self.sock.close()
        self.sockets_list.remove(self)

    def send(self, data):
        self.sock.send(data)

    def push(self, bytes):
        self.channel.send(self.sock.recv(bytes))

def stackless_accept(accept, handler, recv_size=1024, timeout=0):
    sockets = [accept]

    while True:
        read, write, error = select.select(sockets, sockets, sockets, timeout)

        for sock in read:
            if sock is accept:
                # Accept socket and create wrapper
                sock = socket_wrapper(sock.accept()[0], sockets)

                # Create tasklett for this connection
                tasklet = stackless.tasklet(handler)
                tasklet.setup(sock)

                # Store socket
                sockets.append(sock)

            else:
                # Send data to handler
                sock.push(recv_size)

        # Tag all writable sockets
        for sock in write:
            if sock is not accept:
                sock.writable = True

        # Tag all faulty sockets
        for sock in error:
            if sock is not accept:
                sock.error = True
            else:
                pass # should do something here if the main socket is faulty

        timeout = 0 if socket else 1
        stackless.schedule() 

def simple_handler(tsock):
    data = ""

    while data[-4:] != "\r\n\r\n":
        data += tsock.channel.receive()

    while not tsock.writable and not tsock.error:
        stackless.schedule()

    if not tsock.error:
        tsock.send("HTTP/1.1 200 OK\r\nContent-length: 8\r\n\r\nHi there")
        tsock.remove()

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
sock.bind(("192.168.0.192", 8000))
sock.listen(5)

stackless.tasklet(stackless_accept)(sock, simple_handler)
stackless.run()

1 Ответ

14 голосов
/ 17 февраля 2009

Две вещи.

Во-первых, пожалуйста, начните имя класса с заглавной буквы. Он более обычный и его легче читать.

Что еще более важно, в функции stackless_accept вы накапливаете list из Sock объектов с именем sockets. Этот список, кажется, растет бесконечно. Да, у вас есть remove, но он не вызывается всегда . Если сокет получает ошибку, значит, он останется в коллекции навсегда.

...