эффективно извлекать данные из окон Pandas - PullRequest
0 голосов
/ 21 ноября 2018

скажем, у меня есть DataFrame с двумя столбцами, как следует

 1. 'a'    0.1
 2. 'b'    0.2
 3. 'c'    0.3
 4. 'd'    0.4

, и я хочу извлечь из него «оконные данные» следующим образом: (размер окна: 2)

[['a'    0.1], ['b'    0.2]], [['b'    0.2], ['c'    0.3]], [['c'    0.3], ['d'    0.4]]

В настоящее время я использую самый простой способ с циклом, подобным следующему:

[df.loc[i - window_size : i, features].values for i in target_data_idx]

, поскольку он обрабатывает почти 1000 тыс. Данных, эта процедура требует огромного времени выполнения

Есть ли лучшее решение для этого с использованием параллельногоспособы (например, Dask Framework)?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...