Я использую свой собственный преобразователь и хотел бы использовать urllib2, чтобы просто подключиться к IP (без разрешения в urllib2), и я бы сам хотел установить HTTP-заголовок узла Но urllib2 просто игнорирует мой Host-header:
txheaders = { 'User-Agent': UA, "Host: ": nohttp_url }
robots = urllib2.Request("http://" + ip + "/robots.txt", txdata, txheaders)