Вы заметили, что «%» в ylabel написано в верхнем индексе.В текстовой строке первый символ после ^ будет в верхнем индексе.Если вам нужно более одного символа в верхнем индексе, поместите их в фигурные скобки.Попробуйте это:
set ylabel 'Y /10^{3}'
Тем не менее, вместо стандартного деления на число более стандартно включать единицы и умножать единицы на число.Я сделал бы любой из них, например, если бы единицы были метрами (м).
set ylabel 'Y (m x 10^3)'
или
set ylabel 'Y (km)'