Сначала проверьте, не отслеживаются ли эти файлы с помощью:
git rm --cached .idea/caches/build_file_checksums.ser
git rm --cached .idea/caches/gradle_models.ser
Если вы можете удалить эти файлы, то (коммит и) они будут игнорироваться
Проверьте, что они игнорируются с:
git check-ignore -v -- .idea/caches/build_file_checksums.ser