Нет «лучшего» языка. У всех есть компромиссы. Хотя, если все, что вы делаете - это поиск шаблонов, я сомневаюсь, что вы напишите что-нибудь лучше, чем grep или awk.
Если вы беспокоитесь о производительности и хотите написать ее самостоятельно, лучшим выбором будет C. С точки зрения языка сценариев, большинство справится хорошо (хотя, вероятно, заметно медленнее, чем в C). Лично я бы порекомендовал Tcl, поскольку он очень хорошо выполняет регулярные выражения, а его обработка Юникода для всех целей и задач полностью прозрачна - гораздо лучшая поддержка Юникода, чем, например, Python.
Ruby, python, bash тоже хороши, как и многие другие языки сценариев. С точки зрения интеграции, Tcl очень легко интегрируется с другими приложениями. Lua также легко интегрируется из того, что я слышал, хотя лично я не вижу веской причины выбирать его вместо Tcl с технической точки зрения. Lua имеет большой разум, если вы хотите выбрать «горячую» технологию.
Лично я бы избегал perl. Я думаю, что этот день пришел и ушел, хотя некоторые люди все еще клянутся этим. Я думаю, что его синтаксис немного тупой, и есть причины, по которым он имеет репутацию языка «только для записи».