Сохраняйте изображения Kinect RGB и глубины с помощью Pykinect и Open CV - PullRequest
Новая
       35

Сохраняйте изображения Kinect RGB и глубины с помощью Pykinect и Open CV

0 голосов
/ 15 ноября 2018

Я использую PyKinect с OpenCV в окнах для сохранения изображений RGB и глубины kinect. Что прекрасно работает для отображения как RGB, так и изображений глубины. Частота кадров как для изображений RGB, так и для изображений с глубиной составляет 30 кадров в секунду.

Я хочу сохранить изображения RGB в формате .jpg и изображения глубины в формате .xml. который тоже работает отлично.

Но моя проблема в том, что когда я начинаю сохранять изображения RGB и глубины, я не получаю одинаковую частоту кадров. Например, если я сохраняю изображения в течение 10 секунд, я получаю 300 файлов XML, но в то же время я получаю 100 изображений JPG.

Но если я выполню ту же программу, чтобы сохранить только изображения RGB (закомментировать часть изображения глубины) в течение 10 секунд, я получу 300 файлов JPG. Поэтому я считаю, что это проблема производительности, которую можно улучшить. Любые предложения по улучшению производительности приветствуются.

Вот мой подход: 

from pykinect import nui
from pykinect.nui import JointId
import numpy
from numpy import * 
import cv2
import datetime


import os
import os.path
from os.path import join as pjoin
from pykinect.nui import SkeletonTrackingState

current_directory = os.getcwd()

kinect = nui.Runtime()
save_image = False


def getColorImage(frame):
    height,width = frame.image.height,frame.image.width #get width and height of the images 
    rgb = numpy.empty((height,width,4),numpy.uint8) 
    frame.image.copy_bits(rgb.ctypes.data) #copy the bit of the image to the aray   
    cv2.imshow('KINECT Video Stream', rgb) # display the image
    # save to Folder
    folder = 'RGB_images'+'\\s'+ subject_id +'_a' +activity_id
    if not os.path.exists(folder):
        os.makedirs(folder)
    path = current_directory+str('\\')+folder
    image_name = 'color_image_'+str(frame.frame_number)+'.jpg'
    if save_image:
        cv2.imwrite(os.path.join(path,image_name), rgb)


def getDepthImage(frame):
    height,width = frame.image.height,frame.image.width #get frame height and width
    depth_frame = saveDepthImageData(frame.frame_number)
    depth = numpy.empty((height,width,1),numpy.uint8)   
    arr2d = (depth >> 3) & 4095 
    arr2d >>= 4

    frame.image.copy_bits(arr2d.ctypes.data)

    cv2.imshow('KINECT depth Stream', arr2d)

    folder = 'Depth_data'+'\\s'+ subject_id +'_a' +activity_id
    if not os.path.exists(folder):
        os.makedirs(folder)     
    path = current_directory+str('\\')+folder
    file_name = 'depth_image_'+str(frame.frame_number)+'.xml'
    file_to_save = os.path.join(path,file_name)
    if save_image:      
        f = cv2.FileStorage(file_to_save,flags=1)
        f.write("depthImg",arr2d)
        f.release() #close the file


def main():
    global save_image
    global subject_id
    global activity_id


    subject_id = raw_input("Subject id : ")
    activity_id = raw_input("Activity id : ")
    print "Press t to start saving"
    print "Press Esc to quit"

    kinect.video_frame_ready += getColorImage
    kinect.video_stream.open(nui.ImageStreamType.Video, 2,nui.ImageResolution.Resolution640x480,nui.ImageType.Color)
    cv2.namedWindow('KINECT Video Stream', cv2.WINDOW_AUTOSIZE)

    kinect.depth_frame_ready += getDepthImage
    kinect.depth_stream.open(nui.ImageStreamType.Depth, 2, nui.ImageResolution.Resolution320x240, nui.ImageType.Depth)
    cv2.namedWindow('KINECT depth Stream', cv2.WINDOW_AUTOSIZE)

    while True:
        key = cv2.waitKey(0)        
        if key == 116:
            save_image = not save_image
        if key == 27:           
            cv2.destroyAllWindows()
            kinect.close()
            break   


if __name__ == '__main__':
    main()

1 Ответ

0 голосов
/ 15 ноября 2018

Преобразование изображения глубины в XML значительно увеличит его размер. Глубина изображения Kinect составляет 640x480 IIRC, и вместо одного 11-битного значения для каждого пикселя XML будет использовать в среднем более 10 байтов на пиксель, что означает ~ 3,5 МБ на кадр, а затем ваш код должен будет записать почти 100 МБ / с только с точки зрения дискового ввода-вывода (не считая всего преобразования XML).

Я бы предложил использовать другой формат для сохранения изображений глубины, возможно, было бы лучше что-то простое, например, PGM.

...