Не думаю, что вы можете просто использовать windows значок .exe по умолчанию, но вы можете установить свой собственный.
Использовать pyinstaller --onefile --icon=myicon.ico yourapp.py для команды и иметь myicon.ico в этом каталоге или указать, какой каталог .