os.system () будет вызывать вашу команду так же, как Windows cmd, в этом случае Windows не знает, как выполнять файлы * .sh, поэтому открывает диалоговое окно по умолчанию, поэтому вы можете выбрать одну программу, котораявы знаете, можете запустить его.
То же самое произойдет, если вы откроете терминал Windows и попытаетесь вызвать такой файл.
Если в ваших окнах есть интерпретатор bash, попробуйте вызвать его так:
os.system("bash Y:\test.sh")