Вы должны использовать диофантин для целочисленных решений:
In [10]: m, n = symbols('m, n')
In [11]: sols = diophantine(m**2 + m*n - 500, (m, n))
In [12]: sols
Out[12]:
{(-500, 499), (-250, 248), (-125, 121), (-100, 95), (-50, 40), (-25, 5), (-20, -5), (-10, -40), (-5, -95), (-4, -121), (-2, -248), (-1, -499)
, (1, 499), (2, 248), (4, 121), (5, 95), (10, 40), (20, 5), (25, -5), (50, -40), (100, -95), (125, -121), (250, -248), (500, -499)}
Это дает решения для целых чисел m, n. Вы можете отфильтровать решения для тех, которые удовлетворяют вашим условиям:
In [13]: {(m, n) for m, n in sols if m > n and m > 0 and n > 0}
Out[13]: {(20, 5)}