Если программа существует, я подозреваю, что bash-скрипт - лучший выбор.
Если ваши soln-файлы названы правильно, какой-то цикл вроде
для файла в базе * .soln
делать
myprogram> new_ $ file
diff $ file new_ $ file
сделано
Конечно, вы можете проверить код выхода diff и
делать различные другие вещи, чтобы создать протокол испытаний. , .
Это выглядит проще всего для меня. , .
Karl