Ваши значения для E очень близки к 0, когда ceta = 0, pi или 2pi. Это приводит к очень большим значениям, когда вы берете журнал E.
Вы можете просто удалить точки из ceta и E, когда E очень низок. Смотрите блок кода ниже.
E = abs( ( cos((cos(ceta))*pi/2) ) ./ ( sin(ceta) ) );
ceta(E<1e-2) = [];
E(E<1e-2) = [];
power_dB = 10.*log10(E.^2);
power_dB = power_dB - max(power_dB);
max(power_dB)
polarplot(ceta,power_dB);
rlim([-40 0]);
Дает: