Стандарт Unicode имеет концепцию совместимости , которая позволяет определять некоторые кодовые точки как эквивалентные другим. Учитывая строки в вопросе, нормализация NFK C (композиция совместимости форм нормализации) может быть применена для получения эквивалентных латинских символов. Языки программирования могут предоставлять инструменты для применения нормализации программно.
В javascript можно использовать метод string.normalize
name = '????'
"????"
bio = "?'? ??? ???? ??? ???? ?????????. ???'?? ???? ??? ????."
"?'? ??? ???? ??? ???? ?????????. ???'?? ???? ??? ????."
name.normalize('NFKC')
"Lisa"
bio.normalize('NFKC')
"I'm not here for your amusement. You're here for mine."
В python, unicodedata.normalize можно использовать
>>> import unicodedata as ud
>>> name = '????'
>>> bio = "?'? ??? ???? ??? ???? ?????????. ???'?? ???? ??? ????."
>>> ud.normalize('NFKC', name)
'Lisa'
>>> ud.normalize('NFKC', bio)
"I'm not here for your amusement. You're here for mine."