В IE и Firefox на Win2000 / WinXP / Vista, с поддержкой японского языка, установленной из региональных настроек, это просто работает. В Win95 / 98 / ME он работал только на японской ОС, по крайней мере с IE, из-за ограничений в управлении подсказками Windows в системах, отличных от NT. (Относительно других ответов, которые приведут вас к атрибуту title: то же самое поведение применяется к атрибуту title).
Однако возможно, что связывание шрифтов / сопоставление шрифтов не сработает, если вы не установили языковую поддержку или просто скопировали какой-либо шрифт в папку шрифтов. Также возможно, что выбранный вами по умолчанию шрифт для всплывающих подсказок не поддерживает японский, хотя в Win2000 или более поздней версии должен использоваться запасной вариант связывания шрифтов GDI, если только шрифт не соответствует тому, что он поддерживает.
Феномен «пустого квадрата» обычно наводит на мысль о проблеме с отображением шрифтов, хотя возможно, что кодировка неверна.
Ваши пользователи говорят на японском? Эта проблема возникает в системе с системным языком по умолчанию для Японии?