Панель действий может уменьшиться при изменении ориентации или если вы вручную установили размер панели действий. Установите смещение в пикселях от верхней части представления, при котором счетчик прогресса должен сбрасываться после успешного жеста смахивания до текущего размера панели действий.
TypedValue typedValue = new TypedValue();
getActivity().getTheme().resolveAttribute(android.support.v7.appcompat.R.attr.actionBarSize, typedValue, true);
mSwipeRefreshLayout.setProgressViewOffset(false, 0, getResources().getDimensionPixelSize(typedValue.resourceId));
Решение берется из ответа на другой вопросabout: swipeRefreshLayout
Проверьте, поможет ли это вам сначала: mSwipeRefreshLayout.setProgressViewOffset (false, 0, 64) или, возможно, немного больше, чем 64