Приводит ли это к появлению надписей типа «ОК» и «ОТМЕНА» в MessageBox на языке, установленном через этот API
Нет. Они происходят из ОС и всегда на языке ОС.
Если у вас установлена локализованная ОС, MUI или LIP, они будут отображаться на текущем языке интерфейса ОС.
SetThreadUILanguage влияет на загрузку ресурса dll только тем приложением, которое его вызывает, если приложение использует стандартный MUI API.