В случае латексных терминалов выбор и размер шрифта находятся под контролем LaTeX, а не внутренней улучшенной обработки текста в gnuplot.Вам нужно будет отформатировать метку как команду TeX.
plot file u 1:2:(sprintf('{\\tiny %4.3f}', $1)) with labels notitle
Обратите внимание, что число экранированных обратных слешей зависит от того, поместите ли вы формат в одинарные или двойные кавычки.