Pyspark на фрейме данных собирает данные на каждые 100 мс с момента начала и окончания - PullRequest
0 голосов
/ 23 октября 2019

Ниже мой фрейм данных:

В следующем фрейме данных мне нужна первая разница во времени для 40 мс (пример: 1571375680478 это время окончания для 40 мс). со следующего каждые 100 мс (начало: 1571375680478) инкремент данных, сколько транскрипций происходит от 1 до 0, мне нужен счетчик.

+-------------------+----+---------------+-----------------+
|Mnemonic           |data|timestamp_start|timestamp_end    |
+-------------------+----+---------------+-----------------+
|IxDCIWATCHDOGSignal|1   |1571375679438  |1571375680478    |
|IxDCIWATCHDOGSignal|0   |1571375680478  |1571375681518    |
|IxDCIWATCHDOGSignal|1   |1571375681518  |1571375682570    |
|IxDCIWATCHDOGSignal|0   |1571375682570  |1571375683610    |
|IxDCIWATCHDOGSignal|1   |1571375683610  |1571375684658    |
|IxDCIWATCHDOGSignal|0   |1571375684658  |1571375685698    |
|IxDCIWATCHDOGSignal|1   |1571375685698  |1571375686738    |
|IxDCIWATCHDOGSignal|0   |1571375686738  |1571375687790    |
|IxDCIWATCHDOGSignal|1   |1571375687790  |1571375688830    |
|IxDCIWATCHDOGSignal|0   |1571375688830  |1571375689878    |
|IxDCIWATCHDOGSignal|1   |1571375689878  |1571375690918    |
|IxDCIWATCHDOGSignal|0   |1571375690918  |1571375691958    |
|IxDCIWATCHDOGSignal|1   |1571375691958  |1571375693011    |
|IxDCIWATCHDOGSignal|0   |1571375693011  |1571375694051    |
|IxDCIWATCHDOGSignal|1   |1571375694051  |1571375695103    |
|IxDCIWATCHDOGSignal|0   |1571375695103  |1571375696143    |
|IxDCIWATCHDOGSignal|1   |1571375696143  |1571375697183    |
|IxDCIWATCHDOGSignal|0   |1571375697183  |1571375698231    |
|IxDCIWATCHDOGSignal|1   |1571375698231  |1571375699271    |
|IxDCIWATCHDOGSignal|0   |1571375699271  |1571375700323    |
...