Python Оптимизация - Можно ли избежать двойного для l oop? - PullRequest
Новая
       28

Python Оптимизация - Можно ли избежать двойного для l oop?

1 голос
/ 12 февраля 2020

У меня есть df, например: 

import datetime as dt
import pandas as pd
import pytz

cols = ['utc_datetimes', 'zone_name']
data = [
    ['2019-11-13 14:41:26,2019-12-18 23:04:12', 'Europe/Stockholm'],
    ['2019-12-06 21:49:04,2019-12-11 22:52:57,2019-12-18 20:30:58,2019-12-23 18:49:53,2019-12-27 18:34:23,2020-01-07 21:20:51,2020-01-11 17:36:56,2020-01-20 21:45:47,2020-01-30 20:48:49,2020-02-03 21:04:52,2020-02-07 20:05:02,2020-02-10 21:07:21', 'Europe/London']
]

df = pd.DataFrame(data, columns=cols)
print(df)


#                             utc_datetimes             zone_name
# 0 2019-11-13 14:41:26,2019-12-18 23:04:12             Europe/Stockholm
# 1 2019-12-06 21:49:04,2019-12-11 22:52:57,2019-1...   Europe/London

И я хотел бы посчитать количество ночей и сред, по местному времени строки , даты в df представлять. Это желаемый результат: 

                              utc_datetimes             zone_name        nights wednesdays
0   2019-11-13 14:41:26,2019-12-18 23:04:12             Europe/Stockholm    0   1
1   2019-12-06 21:49:04,2019-12-11 22:52:57,2019-1...   Europe/London      11   2

Я придумал следующий дубль для l oop, но он не так эффективен, как хотелось бы для значительного df: 

# New columns.
df['nights'] = 0
df['wednesdays'] = 0

for row in range(df.shape[0]):
    date_list = df['utc_datetimes'].iloc[row].split(',')
    user_time_zone = df['zone_name'].iloc[row]

    for date in date_list:
        datetime_obj = dt.datetime.strptime(
            date, '%Y-%m-%d %H:%M:%S'
        ).replace(tzinfo=pytz.utc)
        local_datetime = datetime_obj.astimezone(pytz.timezone(user_time_zone))

        # Get day of the week count:
        if local_datetime.weekday() == 2:
            df['wednesdays'].iloc[row] += 1

        # Get time of the day count:
        if (local_datetime.hour >17) & (local_datetime.hour <= 23):
            df['nights'].iloc[row] += 1

Любые предложения будут оценены:)

PD. не обращайте внимания на определение «ночь», просто пример.

1 Ответ

2 голосов
/ 12 февраля 2020

Один из способов - сначала создать справочную df, взорвав столбец utc_datetimes, а затем получить TimeDelta для каждой зоны: 

df = pd.DataFrame(data, columns=cols)

s = (df.assign(utc_datetimes=df["utc_datetimes"].str.split(","))
       .explode("utc_datetimes"))

s["diff"] = [pd.Timestamp(a, tz=b).utcoffset() for a,b in zip(s["utc_datetimes"],s["zone_name"])]

С помощью этой вспомогательной df вы можете вычислить количество сред и ночи: 

df["wednesdays"] = (pd.to_datetime(s["utc_datetimes"])+s["diff"]).dt.day_name().eq("Wednesday").groupby(level=0).sum()
df["nights"] = ((pd.to_datetime(s["utc_datetimes"])+s["diff"]).dt.hour>17).groupby(level=0).sum()

print (df)

#
                                       utc_datetimes         zone_name  wednesdays  nights
0            2019-11-13 14:41:26,2019-12-18 23:04:12  Europe/Stockholm         1.0     0.0
1  2019-12-06 21:49:04,2019-12-11 22:52:57,2019-1...     Europe/London         2.0    11.0
...