LSODA, предоставляемый через scipy.integrate, имеет только двойную точность.
Возможно, вы захотите взглянуть на изменение масштаба переменных, чтобы вещь, равная 1e-12, стала ближе к единице.
РЕДАКТИРОВАТЬ. В комментариях вы указали
Как я уже говорил три раза, я открыт для переписывания, чтобы избежать LSODA
Тогда вы можете попытаться сделать это - посмотреть код solve_ivp, который является чистым python. Накормите его десятичными знаками или точными числами типа mpmath. Наблюдайте, где это терпит неудачу, ищите, где это предполагает двойную точность. Перепишите, удалите это предположение. Промыть и повторить. Будет ли это работать в конце концов, я не знаю. Стоит ли это того, я подозреваю, что нет, но YMMV.