UnicodeDecodeError, вероятно, происходит после кода, который вы опубликовали.В любом случае, попробуйте
self.filename = PyQt4.QtGui.QFileDialog.getOpenFileName().decode('utf-8')
Кстати, getOpenFilename () - это статический метод QFileDialog, что означает, что вам не нужно создавать экземпляр для его вызова.