Маска столбца кадра данных на основе индекса даты и времени - PullRequest
Новая
       8

Маска столбца кадра данных на основе индекса даты и времени

0 голосов
/ 13 декабря 2018

Очень похоже на этот вопрос за исключением того, что мне нужно учитывать и дату, и время;indexer_between_time не поддерживает форматы даты и времени, которые я могу найти.

У меня есть кадр данных dask, который выглядит следующим образом: 

                     logger_volt        lat     lon
time                                               
2017-01-01 00:01:20      12.0112  37.150902 -98.362
2017-01-01 00:01:40      12.0113  37.150902 -98.362
2017-01-01 00:02:00      12.0057  37.150902 -98.362
2017-01-01 00:02:20      12.0113  37.150902 -98.362
2017-01-01 00:02:40      12.0058  37.150902 -98.362
2017-01-01 00:03:00      12.0113  37.150902 -98.362

И список столбцов для маскирования в определенное времядиапазоны (данные в этих диапазонах считаются «плохими» и вместо них должны возвращать None) в форме или списке кортежей Python: 

[   # var       start of mask           end of mask
    ('lat', '2017-01-01 00:01:40', '2017-01-01 00:02:00'),
    ('lon', '2017-01-01 00:02:40', '2017-01-01 00:03:00'),
]

Желаемый результат: 

                     logger_volt        lat     lon
time                                               
2017-01-01 00:01:20      12.0112  37.150902 -98.362
2017-01-01 00:01:40      12.0113       None -98.362
2017-01-01 00:02:00      12.0057       None -98.362
2017-01-01 00:02:20      12.0113  37.150902 -98.362
2017-01-01 00:02:40      12.0058  37.150902    None
2017-01-01 00:03:00      12.0113  37.150902    None

Нерабочий код: 

dqrs = [   # var       start of mask           end of mask
    ('lat', '2017-01-01 00:01:40', '2017-01-01 00:02:00'),
    ('lon', '2017-01-01 00:02:40', '2017-01-01 00:03:00'),
]
df = xarray.open_dataset('filename.cdf').to_dask_dataframe()

dqr_mask = (df == df) | df.isnull()  # create a dummy mask that's all True
for var, start, end in dqrs:
    dqr_mask |= ((df.columns == var) & (df.index >= start) & (df.index >= end))

df = df.mask(dqr_mask).compute()

Проблемы с другими подходами:

  • Фреймы данных Dask еще не реализуют назначение слайсов, поэтому что-то вроде df[start:end] = None не будет работать дляэто

1 Ответ

0 голосов
/ 13 декабря 2018

Вам нужно выбрать только столбец var из dqr_mask в цикле for, который вы хотите изменить.вот один из способов: 

dqr_mask = df != df # you want a mask set to False where there is a value
for var, start, end in dqrs:
    #set to True the column var when index is between start and end
    dqr_mask[var] |= (df.index >= start) & (df.index <= end) 
# where dqr_mask False it keeps df otherwise it set the value to None
df = df.mask(dqr_mask,other=None)

print (df)
                    logger_volt      lat     lon
time                                            
2017-01-01 00:01:20     12.0112  37.1509 -98.362
2017-01-01 00:01:40     12.0113     None -98.362
2017-01-01 00:02:00     12.0057     None -98.362
2017-01-01 00:02:20     12.0113  37.1509 -98.362
2017-01-01 00:02:40     12.0058  37.1509    None
2017-01-01 00:03:00     12.0113  37.1509    None
...