Хороший вопрос, но я думаю, что большинство из того, что вы хотите знать, это простая ссылка:
http://www.w3.org/TR/html4/struct/dirlang.html
Некоторые основные моменты:
Информация о языке указывается через
атрибут lang может использоваться пользователем
агент для управления рендерингом в
Разнообразие способов. Некоторые ситуации, когда
предоставленная автором информация о языке
может быть полезным, включают:
- Помощь поисковым системам
- Вспомогательные синтезаторы речи
- Помощь агенту пользователя в выборе вариантов глифа для высококачественной типографии
- Помощь агенту пользователя в выборе набора кавычек
- Помощь агенту пользователя в принятии решений по переносу слов,
лигатуры и интервалы
- Помощь в проверке орфографии и грамматики
Я не думаю, что есть какие-то важные различия между HTML4 и HTML5 по этому поводу.