Планировщик закрытия потока предупреждений - PullRequest
Новая
       7

Планировщик закрытия потока предупреждений

0 голосов
/ 28 ноября 2018

У меня на ноутбуке периодически запускается пакетное задание.Код выглядит следующим образом: 

client = Client()
print(client.scheduler_info())
topic='raw_data'
start = datetime.datetime.now()
delta = datetime.timedelta(minutes=2)
while True:
    end = start + delta
    if end <= datetime.datetime.now():
        start = end
        print('It\'s time to run the analysis for the 2 mins')
        data = get_data_from_parquet('raw_data_fast_par.par', start=start, end=end)
        metrics = [Metric1(), Metric2(), Metric3()]
        print(data.npartitions)
        channels = data.groupby(['col1', 'col2', 'col3'])
        for metric in metrics:
            features = metric.map_job(channels, start, end)
            print(features.count().compute())

Короче говоря, каждые две минуты я выполняю какой-то анализ данных, который я читаю из файла паркета, предсказывая фильтрацию даты простоя.Это тест, поэтому я знаю, что сейчас это не имеет особого смысла.На Терминале я получаю следующее предупреждение.Может ли кто-нибудь объяснить, почему это происходит, если это важно, и как мне этого избежать? 

distributed.comm.tcp - WARNING - Closing dangling stream in <TCP local=tcp://127.0.0.1:55448 remote=tcp://127.0.0.1:42197>

1 Ответ

0 голосов
/ 28 ноября 2018

Я не знаю, в чем собственно проблема, но вы можете попытаться аккуратно закрыть локальный кластер, когда закончите, возможно, используя Client в качестве диспетчера контекста. 

with Client() as client:
    ...
...