Окно управляется вашей ОС, а не tkinter, поэтому, насколько мне известно, вы ничего не можете делать в python. Это не значит, что вы не можете просто сделать свою ОС с закругленными углами, что при условии, что у вас есть Windows и вы обновляете 1903 , это не должно быть слишком сложно.