Вы близки, но везде есть небольшие проблемы. Давайте попробуем очистить его.
1) Вы должны определить само f (x), а не log (f (x)). Из вашего утверждения не ясно, но я предполагаю, что «P» является независимой переменной x?
f(P) = exp(a + b*log(P))
2) Команды gnuplot разделяются точкой с запятой, а не запятыми
a = 12; b = -0.8
3) «Подгонка» не является стилем печати, поэтому «с точками» не имеет смысла как часть команды подгонки
fit f(x) 'data.txt' using 1:2 via a,b
4) У команды 'plot' есть две отдельные части: данные и соответствующая ей кривая
plot 'data.txt' using 1:2 with points, f(x) with lines