Разделить данные на основе даты и времени

Question

В настоящее время пишу код с примерами данных. Мне нужно разделить данные по времени.

В настоящее время заголовки и строки выглядят так, как показано ниже

 time,pressure,temperature,salinity,density
 9/12/2014 0:00,176.31,4.5914,34.90789056,1028.46834
 .
 .

1. время указано в 'мм / дд / гггЧЧ: мм 'формат, как в 12.09.2014 0: 00

   • Я хочу разделить это на столбец даты мм / дд / ггг и время для ЧЧ: мм

2. Я хочу написать процедуру, в которой: Для даты мм / дд / гггг, если изменение во времени <30 минут между строками, затем вывести эти данные в outfile1, когда между строками время> 30 минут выводит последующую дату вoutfile2

Я хочу зациклить это для каждой даты и каждый раз добавлять строки в текстовые файлы, НЕ перезаписывать их так:

outfile1

 time,pressure,temperature,salinity,density
 9/12/2014 0:00,176.31,4.5914,34.90789056,1028.46834
 .
 .
 9/13/2014 0:00,176.31,4.5914,34.90789056,1028.46834
 .
 .

outfile2

 time,pressure,temperature,salinity,density
 9/12/2014 2:00,176.31,4.5914,34.90789056,1028.46834
 .
 .
 9/13/2014 2:00,176.31,4.5914,34.90789056,1028.46834

Это попытка разбить данные, объединенные в разные моменты времени. Данное устройство объединяет данные два раза в день и каждую секунду. Пример кода усредняет его до минут и изменяет разделитель.

Проблема здесь заключается в поиске эффективного кода, который сначала разбивает дату и время, а затем на мм / дд / гггг, если разница в ЧЧ: мм между строкой (i) истрока (j)> 30 минут добавляет эти значения как записи в outfile2

ниже того, что уже было записано. На данный момент это просто код для усреднения записей от секунд до минуты. Я хочу включить шаг (1), упомянутый выше, в код ниже. Затем после обработки записать шаг (2)

    import pandas as pd

    df = pd.read_csv('C:\\Users\\ctaghili\\Desktop\\2014_15s.txt', index_col=1, 
    sep=",")
    # Read in file with time being the index

    name_change = {'time': 'Time', 'ctdpf_ckl_seawater_pressure': 'Pressure',
                 'ctdpf_ckl_seawater_temperature': 'Temperature',
                 'practical_salinity': 'Salinity'}
    df = df.rename(columns=name_change)
    # change the headers of each column


    df = df.rolling(60).mean()
    df = df.iloc[::60, :]
    # take the mean of every 60 entries

    select_cols = ['Pressure', 'Temperature', 'Salinity', 'density']
    df = df[select_cols]
    # data frame which contains the pressure, temp and salinity columns with 
    # the time column as the index

    data = df.iloc[1:630]
    # with the way I averaged data the first line is useless
    data.to_csv('C:\\Users\\ctaghili\\Desktop\\Output1.txt', sep='\t')

Answer 1

Вам не обязательно использовать панд для достижения этой цели. Здесь я проведу вас через библиотеку CSV в Python. Описание ниже, перейдите к основанию для полного блока кода.

Допустим, у вас есть этот файл .csv с именем file1.csv

time,pressure,temperature,salinity,density
9/12/2014 0:00,176.31,4.5914,34.90789056,1028.46834
9/13/2014 0:20,176.31,4.5914,34.90789056,1028.46834
9/14/2014 0:21,176.31,4.5914,34.90789056,1028.46834
9/15/2014 2:00,176.31,4.5914,34.90789056,1028.46834
9/16/2014 1:20,176.31,4.5914,34.90789056,1028.46834
9/17/2014 0:29,176.31,4.5914,34.90789056,1028.46834
9/18/2014 1:00,176.31,4.5914,34.90789056,1028.46834
9/19/2014 3:20,176.31,4.5914,34.90789056,1028.46834

Он имеет разное время и такое,Иногда бывает меньше 30 минут, а иногда больше. Как мы можем разделить это на два отдельных выходных файла?

import csv

затем мы открываем наш файл file1.csv и читаем его, используя

with open('file1.csv') as csv_file:
    read = csv.reader(csv_file,delimiter=',')

, поскольку там есть заголовки, я использовал переменную num_lines, чтобы записать, в каких строках мы находимся.

with open('file1.csv') as csv_file:
    read = csv.reader(csv_file,delimiter=',')
    num_lines = 0

Теперь мы хотим создать переменную Writer для записи в два новых файла CSV, я называю эти файлы out1.csv и out2.csv. 'W' означает запись.

with open('out1.csv',mode='w') as out_1,open('out2.csv',mode='w') as out_2:
            out2_w = csv.writer(out_2,delimiter=',') #make writer,with delimiter ','
            out1_w = csv.writer(out_1,delimiter=',')

Наконец, мы перебираем каждую строку и проверяем данные и время, чтобы увидеть, не меньше ли минут 30.

for row in read:
     if num_lines == 0:
          out1_w.writerow(row)
          out2_w.writerow(row)
          num_lines += 1
     else:
          time = row[0].split(':')
          # time[1] is two digits,time[0][-1] is 0-9,time[0][-2] is ' ' or 1-9
          if int(time[1]) < 30 and int(time[0][-2] + time[0][-1]) == 0:
               out1_w.writerow(row)
          else:
               out2_w.writerow(row)

ВМЕСТЕ СЕЙЧАС:

import csv

with open('file1.csv') as csv_file:
    read = csv.reader(csv_file,delimiter=',')
    num_lines = 0
    with open('out1.csv',mode='w') as out_1,open('out2.csv',mode='w') as out_2:
         out2_w = csv.writer(out_2,delimiter=',')
         out1_w = csv.writer(out_1,delimiter=',')
         for row in read:
              if num_lines == 0:
                   out1_w.writerow(row)
                   out2_w.writerow(row)
                   num_lines += 1
              else:
                  # example: row[0] = '9/12/2014 0:00'
                  time = row[0].split(':')
                  # example: time = ['9/12/2014 0','00']
                  if int(time[1]) < 30 and int(time[0][-2] + time[0][-1]) == 0:
                       out1_w.writerow(row)
                  else:
                       out2_w.writerow(row)

ЭТОТ ПРОДУКТ

cat out1.csv
time,pressure,temperature,salinity,density
9/12/2014 0:00,176.31,4.5914,34.90789056,1028.46834
9/13/2014 0:20,176.31,4.5914,34.90789056,1028.46834
9/14/2014 0:21,176.31,4.5914,34.90789056,1028.46834
9/17/2014 0:29,176.31,4.5914,34.90789056,1028.46834
cat out2.csv
time,pressure,temperature,salinity,density
9/15/2014 2:00,176.31,4.5914,34.90789056,1028.46834
9/16/2014 1:20,176.31,4.5914,34.90789056,1028.46834
9/18/2014 1:00,176.31,4.5914,34.90789056,1028.46834
9/19/2014 3:20,176.31,4.5914,34.90789056,1028.46834

Теперь вы можете использовать pandas для pandas.read_csv и преобразовывать их в кадры данных. Но тебе должно быть хорошо отсюда.