Полагаю, вы можете попробовать с bash while:
while [ true ]; do git rebase --skip; if [ $? -eq 0 ]; then break; fi; done
Итак, вы будете циклически выдавать git rebase --skip
каждый раз, когда git останавливается с проблемой .... когда это не заканчивается проблемой (в этом случае я предполагаю, что у него будет код выхода 0), тогда время прекратит работу