Как сказал camickr, рендереры просто рисуют изображение и не являются реальными компонентами.
Один из способов обойти это - использовать JTable с одним столбцом вместо JList, где вы можете установить CellEditors,какие являются реальными компонентами (но только после того, как эта ячейка получает фокус).
Но на самом деле может быть проще создать панель с панелью прокрутки, которая прослушивает события ListData из ListModel и добавляети удаляет ваши компоненты по мере необходимости.Это то, чем я в конечном итоге воспользовался в прошлый раз, когда у меня возникла эта проблема, она была немного более элегантной.
Хотя, если у вас есть только одна кнопка, JTable может работать довольно хорошо.