применить функцию в течение всех месяцев xarray python - PullRequest
Новая
       19

применить функцию в течение всех месяцев xarray python

1 голос
/ 07 июня 2019

Эффективно применить функцию в течение интересующего месяца xarray 

import pandas as pd
import numpy as np
import xarray as xr

time = pd.date_range('2010-01-01','2018-12-31',freq='M')
lat = np.linspace(-5.175003, -4.7250023, 10)
lon = np.linspace(33.524994, 33.97499, 10)
precip = np.random.normal(0, 1, size=(len(time), len(lat), len(lon)))

ds = xr.Dataset(
    {'precip': (['time', 'lat', 'lon'], precip)},
    coords={
        'lon': lon,
        'lat': lat,
        'time': time,
    }
)

Out[]:
<xarray.Dataset>
Dimensions:  (lat: 10, lon: 10, time: 108)
Coordinates:
  * lon      (lon) float64 33.52 33.57 33.62 33.67 ... 33.82 33.87 33.92 33.97
  * lat      (lat) float64 -5.175 -5.125 -5.075 -5.025 ... -4.825 -4.775 -4.725
  * time     (time) datetime64[ns] 2010-01-31 2010-02-28 ... 2018-12-31
Data variables:
    precip   (time, lat, lon) float64 -0.7862 -0.28 1.236 ... 0.6622 -0.7682

Мой текущий подход

В настоящее время я применяю функцию путем:

  • циклически перебирая всемесяцев
  • выбор всех временных шагов в исходном наборе данных с этим месяцем
  • применить функцию к этим месяцам (здесь нормализованный ранг)
  • повторно объединить список ежемесячныхDataArray s в Dataset со всеми временными шагами

Функция может отличаться от климатологии, но здесь это нормализованный ранг.- получить ранг значения переменной по сравнению со всеми другими значениями для этого month в наборе данных - установить его в диапазоне от 0-100

variable = 'precip'
rank_norm_list = []

# loop through all the months
for mth in range(1, 13):
    # select that month
    ds_mth = (
        ds
        .where(ds['time.month'] == mth)
        .dropna(dim='time', how='all')
    )
    # apply the function to that month (here a normalised rank (0-100))
    rank_norm_mth = (
        (ds_mth.rank(dim='time') - 1) / (ds_mth.time.size - 1.0) * 100.0
    )
    rank_norm_mth = rank_norm_mth.rename({variable: 'rank_norm'})
    rank_norm_list.append(rank_norm_mth)

# after the loop re-combine the DataArrays
rank_norm = xr.merge(rank_norm_list).sortby('time')

Out[]:
<xarray.Dataset>
Dimensions:    (lat: 10, lon: 10, time: 108)
Coordinates:
  * time       (time) datetime64[ns] 2010-01-31 2010-02-28 ... 2018-12-31
  * lat        (lat) float64 -5.175 -5.125 -5.075 ... -4.825 -4.775 -4.725
  * lon        (lon) float64 33.52 33.57 33.62 33.67 ... 33.82 33.87 33.92 33.97
Data variables:
    rank_norm  (time, lat, lon) float64 75.0 75.0 12.5 100.0 ... 87.5 0.0 25.0

Есть ли более умный / эффективный способ, который нене включает цикл и выбор?

1 Ответ

1 голос
/ 08 июня 2019

Спасибо за хороший пример.Существует действительно более простой способ сделать это, используя groupby и apply: 

def rank_norm(ds, dim):
    return (ds.rank(dim=dim) - 1) / (ds.sizes[dim] - 1.0) * 100.0

result = ds.groupby('time.month').apply(rank_norm, args=('time',))
...