Полагаю, у вас в папке проекта установлена Anaconda или среда conda? Затем вам нужно добавить эту папку в ваш файл .gitignore.
В VSCode вы можете щелкнуть правой кнопкой мыши на одном из 5000 файлов, выбрать «Добавить в .gitignore» из контекстного меню, затем откроется файл .gitignore и Вы можете удалить все, кроме верхней папки из новой записи, и тогда эта папка будет проигнорирована.
Кстати, VSCode не обновляет локальное хранилище git автоматически, а просто проверяет, есть ли новые изменения в вашем удаленном репо (github) или как далеко он стоит за вашими локальными изменениями. Вы можете увидеть это в строке состояния VSCode. Если вы хотите изменить одно из репозиториев, вам нужно либо просто «потянуть», либо «pu sh» вручную.