Выберите записи набора данных по датам за последние 7 дней - PullRequest
Новая
       3

Выберите записи набора данных по датам за последние 7 дней

0 голосов
/ 06 ноября 2018

Учитывая приведенный ниже набор данных, я хочу отфильтровать все записи, даты которых относятся к последним 7 дням недели. 

record_id,date,site,sick,funny,happy
CDEC1947-6,9/2/2018,2,1,1,1
IJKC1953-4,9/29/2018,2,1,1,1
FGHC1724-9,10/25/2018,2,3,1,1
FGHC2929-1,10/31/2018,4,1,1,1
CDEC1912-0,11/1/2018,1,1,1,1
IJKC1726-4,11/2/2018,1,3,1,1
IJKC1728-0,10/26/2018,2,3,1,1
ABCC1730-6,11/2/2018,2,3,1,1
ABCC1731-4,11/2/2018,2,3,1,1
CDEC1733-0,10/22/2018,1,3,1,1
CDEC1735-5,11/2/2018,2,3,1,1
IJKC1914-6,10/27/2018,2,6,1,1
ABCC1916-1,10/23/2018,2,6,1,1
IJKC1918-7,11/2/2018,2,1,1,1
CDEC1920-3,10/24/2018,1,6,1,1
IJKC1943-5,11/2/2018,2,4,1,1
ABCC1945-0,11/2/2018,1,4,1,1
ABCC1949-2,10/25/2018,2,4,1,1
CDEC1951-8,11/2/2018,2,5,1,1
CDEC2924-2,11/3/2018,4,1,1,1
CDEC2927-5,11/3/2018,1,1,1,1
ABCC2925-9,11/4/2018,4,1,1,1
IJKC1941-9,11/4/2018,2,4,1,1
ABCC2922-6,11/5/2018,1,1,1,1

Я перепробовал много трюков без успеха Один из них ниже: 

df['data_recrutamento'] = pd.to_datetime(df['data_recrutamento'])

m1 = (df['sick'] == 1) | (df['funny'] == 1) | (df['happy'] == 1)  
m2 = df['date'] >= pd.Timestamp('today') - pd.DateOffset(days=7)  
m3 = ~df['date'].dt.weekday.isin([5, 6])                         

dates_last7_weekdays = df.loc[m1 & m2 & m3, 'site'].value_counts()
dates_last7_weekdays

dates_last7_weekdays = df.loc[m1 & m2 & m3, 'site'].value_counts()
dates_last7_weekdays

Пример другой попытки: 

import pandas as pd
import numpy as np
from plotly.offline import init_notebook_mode, iplot
from plotly.graph_objs import *
import plotly.graph_objs as go
import datetime
from datetime import date
from datetime import timedelta
today = date.today()
from IPython.core.interactiveshell import InteractiveShell
%matplotlib inline

df=pd.read_csv("dataset.csv", encoding="utf-8",low_memory=False)

df["date"]=pd.to_datetime(df["date"])
df["site"]=df["site"].astype("category") # Convert to category
df['sick']=df['sick'].astype('category')
df["funny"]=df["funny"].astype("category")
df["happy"]=df["happy"].astype("category")

df = df.sort_values(by='date', ascending='True')
df.head()

    record_id   date    site    sick    funny   happy
0   CDEC1947-6  2018-09-02  2   1   1   1
1   IJKC1953-4  2018-09-29  2   1   1   1
9   CDEC1733-0  2018-10-22  1   3   1   1
12  ABCC1916-1  2018-10-23  2   6   1   1
14  CDEC1920-3  2018-10-24  1   6   1   1
2   FGHC1724-9  2018-10-25  2   3   1   1
17  ABCC1949-2  2018-10-25  2   4   1   1
6   IJKC1728-0  2018-10-26  2   3   1   1
11  IJKC1914-6  2018-10-27  2   6   1   1
3   FGHC2929-1  2018-10-31  4   1   1   1
4   CDEC1912-0  2018-11-01  1   1   1   1
7   ABCC1730-6  2018-11-02  2   3   1   1
10  CDEC1735-5  2018-11-02  2   3   1   1
5   IJKC1726-4  2018-11-02  1   3   1   1
13  IJKC1918-7  2018-11-02  2   1   1   1
15  IJKC1943-5  2018-11-02  2   4   1   1
16  ABCC1945-0  2018-11-02  1   4   1   1
18  CDEC1951-8  2018-11-02  2   5   1   1
8   ABCC1731-4  2018-11-02  2   3   1   1
19  CDEC2924-2  2018-11-03  4   1   1   1
20  CDEC2927-5  2018-11-03  1   1   1   1
22  IJKC1941-9  2018-11-04  2   4   1   1
21  ABCC2925-9  2018-11-04  4   1   1   1
23  ABCC2922-6  2018-11-05  1   1   1   1

days_diff = []
for i in df.loc[:, 'date']:
    days_diff.append(((datetime.datetime.today() - i).days))

final=df[(pd.Series(days_diff) <= 7) & ((df.loc[:, 'sick'] == 1)|(df.loc[:, 'funny'] == 1)|(df.loc[:, 'happy'] == 1) )] 

C:\Users\H\Miniconda3\lib\site-packages\ipykernel_launcher.py:10: UserWarning:

Boolean Series key will be reindexed to match DataFrame index.

len(final)
21

final

    record_id   date    site    sick    funny   happy
9   CDEC1733-0  2018-10-22  1   3   1   1
12  ABCC1916-1  2018-10-23  2   6   1   1
14  CDEC1920-3  2018-10-24  1   6   1   1
17  ABCC1949-2  2018-10-25  2   4   1   1
11  IJKC1914-6  2018-10-27  2   6   1   1
10  CDEC1735-5  2018-11-02  2   3   1   1
13  IJKC1918-7  2018-11-02  2   1   1   1
15  IJKC1943-5  2018-11-02  2   4   1   1
16  ABCC1945-0  2018-11-02  1   4   1   1
18  CDEC1951-8  2018-11-02  2   5   1   1
19  CDEC2924-2  2018-11-03  4   1   1   1
20  CDEC2927-5  2018-11-03  1   1   1   1
22  IJKC1941-9  2018-11-04  2   4   1   1
21  ABCC2925-9  2018-11-04  4   1   1   1
23  ABCC2922-6  2018-11-05  1   1   1   1

Но мой желаемый результат должен содержать не более 7 разных дат в строках и не более того, потому что я просто хочу отфильтровать последние 7 дней недели, используя сегодняшнюю дату в качестве моей справки. Таким образом, в соответствии с набором данных мои целевые выходные данные не должны включать эти даты, как это происходит в выходные дни 2018-11-04, 2018-11-03 и эти даты 2018-10-22, 2018-10-23, 2018-10- 24, 2018-10-25 и 2018-10-27 не должны быть включены, так как они не являются частью последних 7 рабочих дней. Итак, мой окончательный вывод должен быть только: 

record_id   date    site    sick    funny   happy
10  CDEC1735-5  2018-11-02  2   3   1   1
13  IJKC1918-7  2018-11-02  2   1   1   1
15  IJKC1943-5  2018-11-02  2   4   1   1
16  ABCC1945-0  2018-11-02  1   4   1   1
18  CDEC1951-8  2018-11-02  2   5   1   1
23  ABCC2922-6  2018-11-05  1   1   1   1

Поскольку эти даты относятся к интервалу дат, соответствующему последним 7 рабочим дням с 2018-11-06 по 2018-11-29 (ссылка на сегодня, когда я пишу это 2018-11-06, но завтра будет 2018-11 -07).

1 Ответ

0 голосов
/ 06 ноября 2018

Прямой способ - вычесть и найти разницу в днях и использовать ее для подсчета. Мы используем datetime.datetime.today(), чтобы получить сегодняшнее время. Затем мы используем эту дату и время для вычитания каждой записи из вашего столбца df.loc[:, 'dates']. Чтобы убедиться, что у нас не будет времени вместе с разницей в днях, мы используем (...).days в конце. Затем мы используем сравнительную операцию «меньше или равно» для создания логического ряда, указывающего, какие записи меньше или равны 7 дням. В общем, мы используем эту логическую серию для фильтрации нашего фрейма данных 

import datetime

days_diff = []
for i in df.loc[:, 'date']:
    days_diff.append(((datetime.datetime.today() - i).days))

#subset your data frame
df[pd.Series(days_diff) <= 7]
#or to include the other conditions as well,
df[(pd.Series(days_diff) <= 7) & ((df.loc[:, 'sick'] == 1)|(df.loc[:, 'funny'] == 1)|(df.loc[:, 'happy'] == 1) )]

ПРИМЕЧАНИЕ: Сначала преобразуйте столбец date в правильную дату и время

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.

Нет похожих вопросов

...