Вам необходимо добавить свои активы по пути /var/lib/rundeck/user-assets
(создайте, если он не существует, помните: пользователю "rundeck" нужно добраться до этих файлов). Также проверьте расширение ваших файлов.
Обновление: измените порядок элементов в вашей конфигурации. Работало в таком порядке:
# custom logo
rundeck.gui.staticUserResources.enabled=true
rundeck.gui.logo=logo.jpg
rundeck.gui.logoSmall=logosmall.jpg
rundeck.gui.instanceNameLabelColor=#ededed
rundeck.gui.instanceNameLabelTextColor=#000000
rundeck.gui.title=TNC Rundeck