Python urllib2 декодирует чанк кодирование

Question

У меня есть следующий код для открытия и чтения URL:

html_data = urllib2.urlopen(req).read()

, и я считаю, что это самый стандартный способ чтения данных из HTTP.Однако, когда ответ имеет chunked transfer-кодирование , ответ начинается со следующих символов:

1eb0\r\n2625\r\n
<?xml version="1.0" encoding="UTF-8"?>
...

Это происходит из-за упомянутого выше chunked кодирования, и, таким образом, мои данные XML становятся поврежденными.

Так вот, мне интересно, как я могу избавиться от всех метаданных, связанных с кусочной кодировкой?

Answer 1

Я закончил с пользовательским разделением XML, как это:

    xml_start = html_data.find('<?xml')
    xml_end = html_data.rfind('</mytag>')
    if xml_start !=0:
        log_user_action(req.get_host() ,'chunked data', html_data, {})
        html_data = html_data[xml_start:]
    if xml_end != len(html_data)-len('</mytag>')-1:
        html_data = html_data[:xml_end+1]

Не могу найти простое решение.

Answer 2

1eb0 \ r \ n2625 \ r \ n - позиции начала / остановки сегмента (в шестнадцатеричном формате) в повторно собранной полезной нагрузке

Answer 3

Вы можете удалить все раньше? Xml

html_data = html_data[html_data.find('<?xml'):]