Это математическая задача, а не javascript. Я бы рекомендовал сначала решить его алгебраически (разложить на множители, чтобы получить одно по другому, а затем использовать подстановку), пока у вас не будет выражения для x и y в терминах коэффициентов. Затем напишите код javascript для вычисления этих выражений с учетом коэффициентов. Вам, вероятно, потребуется вычислить четыре выражения из-за природы квадратных корней ±.
Существуют различные методы вычислительного решения любого уравнения, но они будут неэффективными в этом случае, поскольку вид уравнений известен.