Google Assistant на RGB матрице с Raspberry Pi

Question

во-первых, я хочу указать, что я новичок: в эти дни я начал работать над проектом, который, кажется, намного сложнее, чем я ожидал. Весь проект состоит в том, чтобы установить Google Assistant на моем Raspberry Pi 1 B + и показать анализатор спектра аудиовыхода (голос помощника Google) на панели RGB 32x128 пикселей. Чтобы позволить Raspberry Pi взаимодействовать с панелью, я использую матрицу Adafruit RGB Matrix + Real Time Clock HAT. О помощнике Google есть длинный процесс, который я завершил, но этот не самая сложная часть. Большой вопрос - найти способ прочитать анализатор спектра выходного голоса помощника и показать его на панели. (Панель может работать с модулем RGB-MATRIX, созданным Adafruit).

Есть идеи?

Заранее спасибо всем, кто ответит.

Марко

PS мое единственное знание - python, поэтому я пытаюсь переместить проект только с python

Answer 1

С помощью Google Assistant SDK вы сможете получить прямую форму волны голоса Google Assistant во временной области. То есть вы будете получать амплитуду в каждый момент времени (используя настройки звука для скорости).

Чтобы выполнить «анализ спектра», вам нужно будет преобразовать свои амплитуды, основанные на времени. в частоты. Это делается при обработке сигнала с помощью преобразования Фурье в течение периода времени, часто нескольких миллисекунд, для получения частот для этого образца.

Во многих приложениях вы будете использовать метод, известный как «быстрый Фурье» преобразование "(БПФ), что быстро и практично. Есть некоторые учебные пособия онлайн о том, как его вычислить в Python с использованием numpy. Следуя этому руководству, вместо отображения частот вы можете вычислить fourierTransform и отобразить данные в сетке 32x32.