И pygame, и pyqt будут работать для того, что вы хотите сделать, но я бы порекомендовал pyqt: вы сможете использовать стандартные виджеты (например, списки, текстовые поля, меню, кнопки, ...).Я никогда не работал с pyqt, но я представляю, что drag 'n drop - это что-то встроенное, что будет очень полезно для карточной игры.
С Pygame, с другой стороны, вам придетсясделай все сам.Это придаст игре больше ощущения, поскольку вы можете нарисовать все так, как вы хотите, чтобы это выглядело, но потребуется больше работы, поскольку вам придется самостоятельно выполнять базовые вещи.