Из сообщения об исключении видно, что проблема будет связана с вашей строкой формата, в частности, с частью одинарных кавычек.
Глядя на документацию , мы видим, что:
Текст можно заключать в кавычки ('), чтобы избежать интерпретации. «» обозначает одну кавычку.
Таким образом, я считаю, что ваш формат (для той части даты, как в вашем существующем примере) может быть таким простым, как
new SimpleDateFormat("MMM d''yy")
Не должно быть необходимости задействовать обратную косую черту.