Ваш ключевой параметр должен быть вызываемым.Вы отправляете строку сейчас, это ошибка.
Вы можете попробовать это:
songs = sorted(songs, key=lambda s: s.replace('$\lambda$','lambda'))
И для сортировки на месте
songs.sort(key=lambda s: s.replace('$\lambda$','lambda'))