Давайте посмотрим для k = 1
Первое уравнение становится:
(1) a0 + a1 = 0
Второе:
(2) a1 - b0 - b1 = 0
Третье
(3) a1 - 2 (b1) = 0 (for n=2)
и
(4) a1 - 3 (b1) = 0 (for n=3)
Вычитая (3) из (4), вы видите, что b1 == 0
Из (3), если b1 = 0, то a1 = 0
А из (1) и (2) тогда a0 и b0 также равны 0.
Итак, по крайней мере для k = 1 нет нетривиальных решений.Кажется, что-то еще нужно как условие для проблемы.
HTH!