TCP Python сокет-сервер с задержкой на HTTP-клиент - PullRequest
0 голосов
/ 06 октября 2018

Я начал изменять пример, сделанный на python, для потоковой передачи выходных данных счетчика с помощью TCP-сервера.Ниже кода

import socket
import sys
import time
from thread import *

HOST = ''   # Symbolic name meaning all available interfaces
PORT = 8888 # Arbitrary non-privileged port

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.setsockopt(socket.SOL_SOCKET, socket.SO_SNDBUF, 1)
print 'Socket created'

#Bind socket to local host and port
try:
    s.bind((HOST, PORT))
except socket.error as msg:
    print 'Bind failed. Error Code : ' + str(msg[0]) + ' Message ' + msg[1]
    sys.exit()

print 'Socket bind complete'

#Start listening on socket
s.listen(10)
print 'Socket now listening'

#Function for handling connections. This will be used to create threads
def clientthread(conn):
    #Sending message to connected client
    #conn.send('Welcome to the server. Type something and hit enter\n') #send only takes string     
    #infinite loop so that function do not terminate and thread do not end.
    count = 0
    while True:
        count = count + 1
        #Receiving from client
        #data = conn.recv(1024)
        #reply = 'OK...' + data
        #if not data: 
        #    break
        reply = str(count)+'\n'
        print reply
        conn.send(reply)
        time.sleep(1)
    #came out of loop
    conn.close()

#now keep talking with the client
while 1:
    #wait to accept a connection - blocking call
    conn, addr = s.accept()
    print 'Connected with ' + addr[0] + ':' + str(addr[1])

    #start new thread takes 1st argument as a function name to be run, second is the tuple of arguments to the function.
    start_new_thread(clientthread ,(conn,))

s.close()

Я хочу получить счетчик с удаленного http-клиента через мой браузер.Мне нужно подождать, пока счетчик достигнет не менее 260, прежде чем увидеть его в браузере.После того, как 1-й пакет из 260 отсчетов все синхронизируется на стороне сервера и клиента.Я делал разные попытки уменьшить размер отправляемого буфера, но каждый раз в начале наблюдается большая задержка.

1 Ответ

0 голосов
/ 06 октября 2018

Браузеры ожидают один большой ответ по умолчанию и не отображают, пока у них не будет минимального объема данных: Следующая ссылка обсуждает это ограничение в Chunked Encoding , способе отправкиданные в чанках.

использование-передачи-кодирование-чанки-сколько-сколько-данных-должно-быть-отправлено-перед-браузерами-s / 16909228 # 16909228

Таким образом, это ограничение будет применяться даже в том случае, если вы соберете воедино действительную последовательность ответов HTTP1.0: браузер имеет действительные заголовки и будет принимать ваши данные в виде фрагментов, но все равно будет задерживать рендеринг чего-либо до тех пор, пока группа не пройдет.

Вопрос: вам действительно нужен полноценный веб-браузер в качестве клиента?Существуют более простые способы чтения некоторых необработанных данных из потока TCP. Вы можете написать их на python или использовать, например, netcat или даже старый клиент telnet?Проблема решена; -)

Хорошо, скажите, что это действительно должен быть браузер .. Чем вам придется выполнять гораздо больше работы.Одним стандартным (W3C) способом немедленной отправки живых данных является механизм, называемый Server-Sent-Events .Вы отправили текстовый / текстовый поток Content-Type, а затем данные, строка за строкой, перед которыми стоит "data:":

def clientthread(conn):
    conn.send("HTTP/1.1 200 OK\r\nContent-Type: text/event-stream\r\n\r\n");
    count = 0
    while True:
        count = count + 1
        conn.send("data: %d\r\n" % (count))
        print count
        time.sleep(1)
    conn.close()

Существуют библиотеки, которые делают это идиоматически, в настоящее время и т. Д., Но ...Я хотел показать, насколько это просто в принципе.

.. но теперь вам нужен некоторый EventSource в клиентском Javascript для понимания этого, например, для установки некоторого элемента HTML взначение счетчика при каждом получении нового счетчика.

Это не останавливается на достигнутом. Теперь вам нужно предоставить полученный HTML-код и скрипт, и, если он не находится на том же сервере, обязательно установитеразличные заголовки, связанные с безопасностью, или ваш браузер будет игнорировать ваши сценарии ..

Кроме того, в ближайшее время все может стать сложным, если только это не академическое упражнение, вам придется учитывать надежность, соответствие стандартам, крайние случаи и т. д.Я настоятельно рекомендую использовать реализацию HTTP-сервера более высокого уровня, такого как HTTPServer и BaseHTTPRequestHandler, которые выполняют большую часть работы такого рода за вас.

Этот пример (python3)обслуживает как html (at /) с примером EventSource, так и поток SSE (at / counter) со счетчиком:

import sys, time                                                                                                                                                                                                                                
from http.server import HTTPServer,BaseHTTPRequestHandler                                                                                                                                                                                       
from socketserver import ThreadingMixIn                                                                                                                                                                                                         
from socket import error                                                                                                                                                                                                                        

html_and_js = """<html>                                                                                                                                                                                                                         
<head>                                                                                                                                                                                                                                          
    <meta charset="UTF-8">                                                                                                                                                                                                                      
    <title>Counter SSE Client</title>                                                                                                                                                                                                           
</head>                                                                                                                                                                                                                                         
<body>                                                                                                                                                                                                                                          
Count:<span id="counter">0</span>                                                                                                                                                                                                               
<script>                                                                                                                                                                                                                                        
    "use strict";                                                                                                                                                                                                                               
    var counter = document.getElementById('counter');                                                                                                                                                                                           
    var event_source=new EventSource("/counter");                                                                                                                                                                                               
    event_source.onmessage=function(msg) {                                                                                                                                                                                                      
        counter.innerHTML=msg.data;                                                                                                                                                                                                             
    };                                                                                                                                                                                                                                          
    </script>                                                                                                                                                                                                                                   
</body>                                                                                                                                                                                                                                         
</html>                                                                                                                                                                                                                                         
"""                                                                                                                                                                                                                                             

class SSECounterRequestHandler(BaseHTTPRequestHandler):                                                                                                                                                                                         

    server_version = "DzulianisCounter/0.1"                                                                                                                                                                                                     

    def do_html(self):                                                                                                                                                                                                                          
        self.send_header("Content-type", "text/html")                                                                                                                                                                                           
        self.send_header("Access-Control-Allow-Origin", "*")                                                                                                                                                                                    
        self.end_headers()                                                                                                                                                                                                                      
        self.wfile.write(bytes(html_and_js,'UTF-8'))                                                                                                                                                                                            

    def do_sse(self):                                                                                                                                                                                                                           
        self.counter=0                                                                                                                                                                                                                          
        self.send_header("Content-type", "text/event-stream")                                                                                                                                                                                   
        self.send_header("Cache-Control", "no-cache")                                                                                                                                                                                           
        self.end_headers()                                                                                                                                                                                                                      

        self.running=True                                                                                                                                                                                                                       
        while self.running:                                                                                                                                                                                                                     
            try:                                                                                                                                                                                                                                
                self.wfile.write(bytes('data: %d\r\n\r\n' % (self.counter),'UTF-8'))                                                                                                                                                            
                self.counter+=1                                                                                                                                                                                                                 
                time.sleep(1)                                                                                                                                                                                                                   
            except error:                                                                                                                                                                                                                       
                self.running=False                                                                                                                                                                                                              

    def do_GET(self):                                                                                                                                                                                                                           
        self.send_response(200)                                                                                                                                                                                                                 
        if self.path=='/counter':                                                                                                                                                                                                               
            self.do_sse()                                                                                                                                                                                                                       
        else:                                                                                                                                                                                                                                   
            self.do_html()                                                                                                                                                                                                                      

class SSECounterServer(ThreadingMixIn, HTTPServer):                                                                                                                                                                                             
        def __init__(self,listen):                                                                                                                                                                                                              
                HTTPServer.__init__(self,listen,SSECounterRequestHandler)                                                                                                                                                                       

if __name__=='__main__':                                                                                                                                                                                                                        
    if len(sys.argv)==1:                                                                                                                                                                                                                        
            listen_addr=''                                                                                                                                                                                                                      
            listen_port=8888                                                                                                                                                                                                                    
    elif len(sys.argv)==3:                                                                                                                                                                                                                      
            listen_addr=sys.argv[1]                                                                                                                                                                                                             
            listen_port=int(sys.argv[2])                                                                                                                                                                                                        
    else:                                                                                                                                                                                                                                       
            print("Usage: dzulianiscounter.py [<listen_addr> <listen_port>]")                                                                                                                                                                    
            sys.exit(-1)                                                                                                                                                                                                                        

    server=SSECounterServer((listen_addr,listen_port))                                                                                                                                                                                          
    server.serve_forever()       

Это гораздо более эффективно и имеет лучшее время отклика, чем, например, наличиестраница регулярно опрашивает какой-либо URL-адрес, или дрожит , постоянно перезагружая страницу :-) При вашей скорости (1 в секунду) это также сохраняет соединение http открытым, избегая накладных расходов на соединение, но добавляя некоторую нагрузку на память для ОС.сетевой стек, который можно почувствовать, если вы подключите к нему много пользователей одновременно.

Наслаждайтесь!

...