Советы по построению большого количества данных - PullRequest
0 голосов
/ 29 декабря 2018

Я работаю над очень дешевым сейсмометром, в основном для образовательных целей и некоторых исследований.Я хотел бы каждые несколько часов показывать сейсмический сигнал одного из каналов в виде изображения, которое я прикрепил, используя matplotlib.

. Проблема в том, что каждую секунду я получаю 100 точек данных и при построении этих данных наRaspberry Pi, как правило, зависает и перестает работать.

Способ, которым я строю данные для каждого 4-часового субплота, снова считывает все данные и строит графики только между пределами субплота, но я нахожу это неэффективным иВероятно, причина зависания малины.

Я думал несколько дней, как я мог бы сделать это, чтобы избежать использования большого количества памяти для каждого подзаговора, но я не могу найти ответ, так как ягеология и программирование - это большая проблема для меня.

У кого-нибудь есть идеи для этого?

import matplotlib.pyplot as plt
import time
import os.path
import datetime
import sys
import numpy
import pytz
import matplotlib.dates as mdates
import ftplib
from pylab import *
import numpy as np
from itertools import islice
from time import sleep
from matplotlib.pyplot import specgram
from scipy.signal import medfilt
import csv
archivo='sismo1545436800'

def subirftp(archivosubir):
    session = ftplib.FTP('---', 's---   ', '----')
    file = open(archivosubir+'.png', 'rb')  # file to send
    session.storbinary('STOR '+ archivosubir +'.png', file)  # send the file
    dirlist = session.retrlines('LIST')
    file.close()  # close file and FTP
    session.quit()

font = {'family': 'serif',
            'color': 'darkred',
            'weight': 'normal',
            'size': 16,
            }

fu = open('Z:/nchazarra/sismografos/' + str(archivo) + '.txt')
nr_of_lines = sum(1 for line in fu)
fu.close()
f = open('Z:/nchazarra/sismografos/' + str(archivo) + '.txt')

print(nr_of_lines)
csv_f = csv.reader(f)
#row_count = sum(1 for row in csv_f)
#print(row_count)
tiempo = []
valora = []
valores = []
tiempor = []
i=0
final=0
empiezo=time.time()

for row in islice(csv_f,0,nr_of_lines-1):
        # print (row[0])
        if i == 0:
            inicio = double(row[0])
            valor = datetime.datetime.fromtimestamp(float(row[0]),tz=pytz.utc)
            tiempo.append(valor)
            i = i + 1
        else:
            valor = datetime.datetime.fromtimestamp(float(row[0]),tz=pytz.utc)
            #print(valor)
            tiempo.append(valor)
            # print(row)

        try:
            valora.append(int(row[1]))
            # print(row[0])
        except IndexError:
            valora.append(0)
        except ValueError:
            valora.append(0)

valores = valora
tiempor = tiempo
mediana = np.mean(valores)
minimo = np.amin(valores)
maximo = np.amax(valores)
std = np.std(valores)
for index in range(len(valores)):
        valores[index] = float(((valores[index] - minimo) / (maximo - minimo))-1)

mediananueva = float(np.median(valores))
for index in range(len(valores)):
    valores[index] = float(valores[index] - mediananueva)

valores2=np.asarray(valores)
tiempo2=np.asarray(tiempo)

#Franja de 0 a 4
franja1=plt.subplot(611)
franja1.axis([datetime.datetime(2018, 12, 22,00,00), datetime.datetime(2018, 12, 22,3,59,59),-0.05,0.05])
franja1.plot(tiempo2, valores2, lw=0.2,color='red')
#Franja de 4 a 8
franja2=plt.subplot(612)
franja2.axis([datetime.datetime(2018, 12, 22,4,00), datetime.datetime(2018, 12, 22,8,00),-0.05,0.05])
franja2.plot(tiempo2, valores2, lw=0.2,color='green')

#Franja de 8 a 12
franja3=plt.subplot(613)
franja3.axis([datetime.datetime(2018, 12, 22,8,00), datetime.datetime(2018, 12, 22,12,00),-0.05,0.05])
franja3.plot(tiempo2, valores2, lw=0.2,color='blue')
#Franja de 12 a 16

franja4=plt.subplot(614)
franja4.axis([datetime.datetime(2018, 12, 22,12,00), datetime.datetime(2018, 12, 22,16,00),-0.05,0.05])
franja4.plot(tiempo2, valores2, lw=0.2,color='red')

#franja de 16 a 20

franja5=plt.subplot(615)
franja5.axis([datetime.datetime(2018, 12, 22,16,00), datetime.datetime(2018, 12, 22,20,00),-0.05,0.05])
franja5.plot(tiempo2, valores2, lw=0.2,color='green')

#Franja de 20 a 24
franja6=plt.subplot(616)
franja6.axis([datetime.datetime(2018, 12, 22,20,00), datetime.datetime(2018, 12, 22,23,59,59),-0.05,0.05])
franja6.plot(tiempo2, valores2, lw=0.2,color='blue')

franja1.xaxis.set_major_formatter(mdates.DateFormatter('%H:%M'))
franja2.xaxis.set_major_formatter(mdates.DateFormatter('%H:%M'))
franja3.xaxis.set_major_formatter(mdates.DateFormatter('%H:%M'))
franja4.xaxis.set_major_formatter(mdates.DateFormatter('%H:%M'))
franja5.xaxis.set_major_formatter(mdates.DateFormatter('%H:%M'))
franja6.xaxis.set_major_formatter(mdates.DateFormatter('%H:%M'))

acabo=time.time()
cuantotardo=acabo-empiezo
print('Madre mía, he tardado en hacer esto '+str(cuantotardo)+' segundos')

savefig(archivo + ".png", dpi=300)
subirftp(archivo)
plt.show()

Seismic Drum

Ответы [ 2 ]

0 голосов
/ 31 декабря 2018

Вы можете сэкономить достаточное количество памяти, предварительно настроив массивы перед их построением:

import datetime

import matplotlib.pyplot as plt
import matplotlib.dates as mdates
import numpy as np

n_times = 24 * 60 * 60 * 100
times = [
    datetime.datetime(2018, 12, 22,00,00) +
    datetime.timedelta(milliseconds=10 * x) for x in range(n_times)]
tiempo2 = np.array(times)
valores2 = np.random.normal(size=n_times)

#Franja de 0 a 4
franja1=plt.subplot(611)
index = np.logical_and(tiempo2 >= datetime.datetime(2018, 12, 22, 0, 0),
                       tiempo2 < datetime.datetime(2018, 12, 22, 4, 0, 0))
franja1.plot(tiempo2[index], valores2[index], lw=0.2,color='red')

#Franja de 4 a 8
franja2=plt.subplot(612)
index = np.logical_and(tiempo2 >= datetime.datetime(2018, 12, 22, 4, 0),
                       tiempo2 < datetime.datetime(2018, 12, 22, 8, 0, 0))
franja2.plot(tiempo2[index], valores2[index], lw=0.2,color='green')

#Franja de 8 a 12
franja3=plt.subplot(613)
index = np.logical_and(tiempo2 >= datetime.datetime(2018, 12, 22, 8, 0),
                       tiempo2 < datetime.datetime(2018, 12, 22, 12, 0, 0))
franja3.plot(tiempo2[index], valores2[index], lw=0.2,color='blue')
#Franja de 12 a 16

franja4=plt.subplot(614)
index = np.logical_and(tiempo2 >= datetime.datetime(2018, 12, 22, 12, 0),
                       tiempo2 < datetime.datetime(2018, 12, 22, 16, 0, 0))
franja4.plot(tiempo2[index], valores2[index], lw=0.2,color='red')

#franja de 16 a 20

franja5=plt.subplot(615)
index = np.logical_and(tiempo2 >= datetime.datetime(2018, 12, 22, 16, 0),
                       tiempo2 < datetime.datetime(2018, 12, 22, 20, 0, 0))
franja5.plot(tiempo2[index], valores2[index], lw=0.2,color='green')

#Franja de 20 a 24
franja6=plt.subplot(616)
index = np.logical_and(tiempo2 >= datetime.datetime(2018, 12, 22, 20, 0),
                       tiempo2 < datetime.datetime(2018, 12, 23, 0, 0, 0))
franja6.plot(tiempo2[index], valores2[index], lw=0.2,color='blue')

franja1.xaxis.set_major_formatter(mdates.DateFormatter('%H:%M'))
franja2.xaxis.set_major_formatter(mdates.DateFormatter('%H:%M'))
franja3.xaxis.set_major_formatter(mdates.DateFormatter('%H:%M'))
franja4.xaxis.set_major_formatter(mdates.DateFormatter('%H:%M'))
franja5.xaxis.set_major_formatter(mdates.DateFormatter('%H:%M'))
franja6.xaxis.set_major_formatter(mdates.DateFormatter('%H:%M'))

plt.show()

enter image description here

0 голосов
/ 30 декабря 2018

Вам нужно построить каждую точку данных?Вы могли бы рассмотреть возможность нанесения каждые 100 или около того.Пока частота вашего сигнала не слишком высока, я думаю, что он может работать.Примерно так:

import matplotlib.pyplot as plt
import numpy as np

X = np.arange(10000) / 10000 * 2 * np.pi
Y = np.sin(X) + np.random.normal(size=10000) / 10

plt.plot(X[::100], Y[::100])

enter image description here

против всех точек:

enter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...