Рассчитать тревогу наводнения в снежинке - PullRequest
Новая
       13

Рассчитать тревогу наводнения в снежинке

5 голосов
/ 24 марта 2020

Я пытаюсь сделать расчет наводнения в снежинке. Я создал следующий набор данных, используя функцию окна снежинки. Таким образом, если значение больше или равно 3, то поток аварийных сигналов начнется и для следующего 0 значения закончится. Таким образом, в приведенном ниже примере аварийный поток начался в «9:51» и закончился в «9:54», что длилось 3 минуты. Следующий поток начался в «9:57» и закончился в «10:02», что в течение 5 минут. К сведению, значение в 9:59 равно 3, но поскольку наводнение уже началось, мы не должны это учитывать. Следующий поток в 10:03, но значение 0 отсутствует, поэтому мы должны рассмотрим крайнее значение 10:06. Таким образом, общее время затопления составляет 3 + 5 + 4 = 12 минут. 

   DateTime    Value
3/10/2020 9:50  1
3/10/2020 9:51  3
3/10/2020 9:52  1
3/10/2020 9:53  2
3/10/2020 9:54  0
3/10/2020 9:55  0
3/10/2020 9:56  1
3/10/2020 9:57  3
3/10/2020 9:58  2
3/10/2020 9:59  3
3/10/2020 10:00 2
3/10/2020 10:01 2
3/10/2020 10:02 0
3/10/2020 10:03 3
3/10/2020 10:04 1
3/10/2020 10:05 1
3/10/2020 10:06 1

, так что, короче говоря, я ожидаю ниже выходного значения

enter image description here

Я попробовал ниже SQL, но это не дает мне правильного вывода, он терпит неудачу во время второго потока (как снова значение 3 перед следующим 0) 

select t.*,
       (case when value >= 3
             then datediff(minute,
                           datetime,
                           min(case when value = 0 then datetime end) over (order by datetime desc)
                          )
        end) as diff_minutes
from t;

Ответы [ 3 ]

2 голосов
/ 24 марта 2020 
WITH data as (
  select time::timestamp as time, value from values
    ('2020-03-10 9:50', 1 ),
    ('2020-03-10 9:51', 3 ),
    ('2020-03-10 9:52', 1 ),
    ('2020-03-10 9:53', 2 ),
    ('2020-03-10 9:54', 0 ),
    ('2020-03-10 9:55', 0 ),
    ('2020-03-10 9:56', 1 ),
    ('2020-03-10 9:57', 3 ),
    ('2020-03-10 9:58', 2 ),
    ('2020-03-10 9:59', 3 ),
    ('2020-03-10 10:00', 2 ),
    ('2020-03-10 10:01', 2 ),
    ('2020-03-10 10:02', 0 ),
    ('2020-03-10 10:03', 3 ),
    ('2020-03-10 10:04', 1 ),
    ('2020-03-10 10:05', 1 ),
    ('2020-03-10 10:06', 1 )
     s( time, value)
) 
select 
    a.time
    ,a.value
    ,min(trig_time)over(partition by reset_time_group order by time) as first_trigger_time
    ,iff(a.time=first_trigger_time, datediff('minute', first_trigger_time, reset_time_group), null) as trig_duration
from (
select d.time
   ,d.value 
   ,iff(d.value>=3,d.time,null) as trig_time
   ,iff(d.value=0,d.time,null) as reset_time
   ,max(time)over(order by time ROWS BETWEEN 1 PRECEDING AND UNBOUNDED FOLLOWING) as max_time
   ,coalesce(lead(reset_time)ignore nulls over(order by d.time), max_time) as lead_reset_time
   ,coalesce(reset_time,lead_reset_time) as reset_time_group
from data as d
) as a
order by time;

это дает результаты, которые вы, кажется, ожидаете / описываете. 

TIME                     VALUE  FIRST_TRIGGER_TIME         TRIG_DURATION
2020-03-10 09:50:00.000    1        
2020-03-10 09:51:00.000    3    2020-03-10 09:51:00.000    3
2020-03-10 09:52:00.000    1    2020-03-10 09:51:00.000    
2020-03-10 09:53:00.000    2    2020-03-10 09:51:00.000    
2020-03-10 09:54:00.000    0    2020-03-10 09:51:00.000    
2020-03-10 09:55:00.000    0        
2020-03-10 09:56:00.000    1        
2020-03-10 09:57:00.000    3    2020-03-10 09:57:00.000    5
2020-03-10 09:58:00.000    2    2020-03-10 09:57:00.000    
2020-03-10 09:59:00.000    3    2020-03-10 09:57:00.000    
2020-03-10 10:00:00.000    2    2020-03-10 09:57:00.000    
2020-03-10 10:01:00.000    2    2020-03-10 09:57:00.000    
2020-03-10 10:02:00.000    0    2020-03-10 09:57:00.000    
2020-03-10 10:03:00.000    3    2020-03-10 10:03:00.000    3
2020-03-10 10:04:00.000    1    2020-03-10 10:03:00.000    
2020-03-10 10:05:00.000    1    2020-03-10 10:03:00.000    
2020-03-10 10:06:00.000    1    2020-03-10 10:03:00.000

Итак, как это работает, мы находим время срабатывания и время сброса, затем работает max_time для последнего края края строки. После этого мы находим следующие события reset_time и используем max_time, если его нет, а затем выбираем текущее время сброса или предыдущий lead_reset_time, для работы, которую вы здесь делаете, эти шаги можно игнорировать, так как ваши данные не могут сработать и сбросить тот же ряд. И, учитывая, что мы делаем математику в строке триггера, строка сброса, зная, к какой группе она принадлежит, не имеет значения.

Затем мы разбиваемся на новый слой выбора, поскольку мы достигли предела снежинок для вложенных / взаимосвязанных SQL, и делаем минуту через группу reset_group, чтобы найти первое время запуска, которое мы затем сравниваем со строкой. время и сделайте разницу в дате.

Примечание: date_diff немного наивен в своей математике, а '2020-01-01 23:59:59' 2020-01-02 00:00:01 'с интервалом в 2 секунды, но с интервалом в 1 минуту, интервалом в 1 час и 1 днем, потому что функция приводит метки времени к выбранному блоку (и усекает их), а затем различает эти результаты ..

Чтобы получить В последнем пакете со значением 4, как запрашивается в запросе, измените строку lead_reset_time на: 

,coalesce(lead(reset_time)ignore nulls over(order by d.time), dateadd('minute', 1, max_time)) as lead_reset_time

, чтобы переместить это max_time вперед на одну минуту, если вы хотите предположить, что в будущем у вас не будет данных существующее состояние строки 10:06 действительно в течение 1 минуты. Что не так, как я бы это сделал ... но есть код, который вы хотите ..

2 голосов
/ 24 марта 2020

Я не самый горжусь этим кодом, но он работает и дает стартовую позицию. Я уверен, что это можно почистить или упростить. и я не оценивал производительность для больших таблиц.

Основное понимание, которое я использовал, заключается в том, что если вы добавляете date_diff к дате, то вы можете найти ситуации, когда они оба добавляют одно и то же значение, что означает, что они оба считают одну и ту же запись «0». Надеюсь, что эта концепция полезна, если ничего больше.

Кроме того, первый cte - это полу-хакерский способ получить эти 4 в конце ваших результатов. 

--Add a fake zero at the end of the table to provide a value for
-- comparing high values that have not been resolved
-- added a flag so this fake value can be removed later
with fakezero as
(
SELECT datetime, value, 1 flag
FROM test

UNION ALL

SELECT dateadd(minute, 1, max(datetime)) datetime, 0 value, 0 flag
FROM test  
)

-- Find date diffs between high values and subsequent low values
,diffs as (
select t.*,
       (case when value >= 3
             then datediff(minute,
                           datetime,
                           min(case when value = 0 then datetime end) over (order by datetime desc)
                          )
        end) as diff_minutes
from fakezero t
)

--Fix cases where two High values are "resolved" by the same low value
--i.e. when adding the date_diff to the datetime results in the same timestamp
-- this means that the prior high value record that still hasn't been "resolved"
select
  datetime
  ,value
  ,case when 
      lag(dateadd(minute, diff_minutes, datetime)) over(partition by value order by datetime)
      = dateadd(minute, diff_minutes, datetime)
    then null 
    else diff_minutes 
  end as diff_minutes
from diffs
where flag = 1
order by datetime;
1 голос
/ 24 марта 2020

Версия javascript udf: 

select d, v, iff(3<=v and 1=row_number() over (partition by N order by d),
    count(*) over (partition by N), null) trig_duration
from t, lateral flood_count(t.v::float) 
order by d;

Где flood_count () определяется как: 

create or replace function flood_count(V float) 
returns table (N float)
language javascript AS
$${

  initialize: function() { 
    this.n = 0 
    this.flood = false
  },

  processRow: function(row, rowWriter) { 
    if (3<=row.V && !this.flood) {
        this.flood = true
        this.n++
    }
    else if (0==row.V) this.flood=false
    rowWriter.writeRow({ N: this.flood ? this.n : null })  
  },

}$$;

Предполагается, что этот ввод: 

create or replace table t as
select to_timestamp(d, 'mm/dd/yyyy hh:mi') d, v 
from values
    ('3/10/2020 9:50',  1),
    ('3/10/2020 9:51',  3),
    ('3/10/2020 9:52',  1),
    ('3/10/2020 9:53',  2),
    ('3/10/2020 9:54',  0),
    ('3/10/2020 9:55',  0),
    ('3/10/2020 9:56',  1),
    ('3/10/2020 9:57',  3),
    ('3/10/2020 9:58',  2),
    ('3/10/2020 9:59',  3),
    ('3/10/2020 10:00', 2),
    ('3/10/2020 10:01', 2),
    ('3/10/2020 10:02', 0),
    ('3/10/2020 10:03', 3),
    ('3/10/2020 10:04', 1),
    ('3/10/2020 10:05', 1),
    ('3/10/2020 10:06', 1)
    t(d,v)
;
...