См. Здесь: получить имя файла для загрузки файла в документе через javascript о том, как получить имя файла:
var extension = $('#group_documents_file').val().match(/[^.]+$/).pop().toLowerCase();
Это должно дать вам что-нибудь после точки в имени файла.
EDIT:
Если вы не хотите использовать regEx, я бы порекомендовал использовать split, с pop:
var extension = $('#group_documents_file').val().split('.').pop().toLowerCase();
Затем, чтобы проверить допустимые расширения, сделайте следующее:
if ( ~$.inArray(extension, ['jpg', 'jpeg', 'gif', 'png']) ) {
// correct file type...
} else {
// incorrect file type...
}