Полагаю, драйвер JS для capybara-webkit немного хитрый.
Со страницы Капибара Гитхуб :
Для простых выражений вы можете вернуть результат скрипта. Заметка
что это может сломаться с более сложными выражениями:
result = page.evaluate_script ('4 + 4');
Однако из того кода, который у вас есть, похоже, что вы можете сделать довольно много вещей с самой Capybara.
$('#submit_direction').attr('value', '1')
можно заменить на:
page.find("#submit_direction").set('1')
и
$('#quizForm').submit()
можно заменить на:
page.click_on('quizForm')
см. Капибару документы по действиям капибары