Расширить модуль Python в пакете whois - PullRequest
Новая
       21

Расширить модуль Python в пакете whois

1 голос
/ 31 января 2020

Я использую модуль pythons whois для проверки свободных доменов в зоне .by. Модуль в настоящее время не поддерживает его. Но все, что мне нужно сделать, это добавить этот код в ... / lib / python3 .8 / site-packages / whois / tld_regexpr.py: 

by = {
'extend': 'com'
}

Я думаю, что это неправильно жестко закодировать в папку lib. Теперь мой код выглядит так: 

import whois

def free_domains(domain_list):
    """Looking for free domains"""
    free_d = []
    for domain in domain_list:
        if whois.query(domain) is None:
            free_d.append(domain)
    return free_d

Но он не работает без этих инъекций. Extend Как я могу расширить tld_regexpr.py из моего .py файла?

1 Ответ

1 голос
/ 31 января 2020

Для справки вот исходный код для whois.tld_regexpr. Он используется в whois._2_parse примерно так: 

from . import tld_regexpr

TLD_RE = {}


def get_tld_re(tld):
    if tld in TLD_RE:
        return TLD_RE[tld]
    v = getattr(tld_regexpr, tld)
    extend = v.get('extend')

    if extend:
        e = get_tld_re(extend)
        tmp = e.copy()
        tmp.update(v)
    else:
        tmp = v

    if 'extend' in tmp:
        del tmp['extend']

    TLD_RE[tld] = dict((k, re.compile(v, re.IGNORECASE) if isinstance(v, str) else v) for k, v in tmp.items())
    return TLD_RE[tld]


[get_tld_re(tld) for tld in dir(tld_regexpr) if tld[0] != '_']

Как мы видим, он запускает некоторый код уровня модуля, который генерирует регулярные выражения из данных в tld_regexpr и кэширует их в глобальной таблице TLD_RE.

К сожалению, нет способа легко расширить tld_regexpr до того, как это произойдет, так как этот модуль импортируется из верхнего уровня __init__.py , Затем внутренний код даже не использует get_tld_re после этого, даже несмотря на то, что он предоставляет интерфейс к кешу: / Таким образом, вам нужно явно вызвать этот get_tld_re в вашем новом TLD после его добавления. Что-то вроде: 

from whois import tld_regexpr
from whois._2_parse import get_tld_re  # a "private" module, but they leave us little choice
tld_regexpr.by = {
    'extend': 'com'
}
get_tld_re('by')

До: 

>>> whois.query('bayern.by')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/embray/src/python-whois/whois/__init__.py", line 60, in query
    raise UnknownTld('Unknown TLD: %s\n(all known TLD: %s)' % (tld, list(TLD_RE.keys())))
whois.exceptions.UnknownTld: Unknown TLD: by
(all known TLD: ['com', 'uk', 'ac_uk', 'ar', 'at', 'pl', 'be', 'biz', 'br', 'ca', 'cc', 'cl', 'club', 'cn', 'co', 'jp', 'co_jp', 'cz', 'de', 'edu', 'eu', 'fr', 'id', 'info', 'io', 'it', 'kr', 'kz', 'ru', 'lv', 'me', 'mobi', 'mx', 'name', 'net', 'nyc', 'nz', 'online', 'org', 'pharmacy', 'press', 'pw', 'store', 'rest', 'ru_rf', 'security', 'sh', 'site', 'space', 'tech', 'tel', 'theatre', 'tickets', 'tv', 'us', 'uz', 'video', 'website', 'wiki', 'xyz'])

после: 

>>> from whois import tld_regexpr
>>> from whois._2_parse import get_tld_re  # a "private" module, but they leave us little choice
>>> tld_regexpr.by = {
...     'extend': 'com'
... }
>>> get_tld_re('by')
{'domain_name': re.compile('Domain Name:\\s?(.+)', re.IGNORECASE), 'registrar': re.compile('Registrar:\\s?(.+)', re.IGNORECASE), 'registrant': None, 'creation_date': re.compile('Creation Date:\\s?(.+)', re.IGNORECASE), 'expiration_date': re.compile('Registry Expiry Date:\\s?(.+)', re.IGNORECASE), 'updated_date': re.compile('Updated Date:\\s?(.+)$', re.IGNORECASE), 'name_servers': re.compile('Name Server:\\s*(.+)\\s*', re.IGNORECASE), 'status': re.compile('Status:\\s?(.+)', re.IGNORECASE), 'emails': re.compile('[\\w.-]+@[\\w.-]+\\.[\\w]{2,4}', re.IGNORECASE)}
>>> whois.query('bayern.by')
<whois._3_adjust.Domain object at 0x6ffffbbc9e8>

Я полагаю, модуль не имеет лучшего дизайна для расширяемости, но это хорошо - может быть исправлено с небольшими изменениями. Тем временем вы должны подать PR автору, чтобы добавить больше нДВУ или упростить расширение.

...