Просто используйте ваши полиномиальные коэффициенты в качестве входных данных для FFT:
octave:16> poly1=[1 0 1 0]
poly1 =
1 0 1 0
Примечание: это означает, что x ^ 2 + 1
octave:17> poly2=[1 1 0 0]
poly2 =
1 1 0 0
octave:18> ifft( fft(poly1).*fft(poly2))
ans =
1 1 1 1
Это результат. Интерпретировать как x ^ 3 + x ^ 2 + x + 1, который является произведением двух полиномов.