Это потому, что вы не настраиваете слушателя для кнопок, но вы определяете новых слушателей, которые не вызывают какой-либо метод
Это будет работать:
button.setOnClickListener(listener)
Это тоже будет работать, но здесь у вас есть 2 слушателя: исходный, вызванный другим:
button.setOnClickListener{ listener.onClick(it) }