В gnuplot оператор / с целочисленными операндами выполняет целочисленное деление, подобно оператору Python //. Таким образом, ваш показатель 5/3 оценивается просто как 1, а также 2/3 равен 0.
Если вы хотите получить дробный ответ, используйте аргументы с плавающей запятой:
f(x)=2*x**(5.0/3.0) + 5*x**(2.0/3.0)