Прямо сейчас вы пытаетесь сделать математику со строками и числами. Это не работает: они разные, несовместимые типы данных.
Если вы хотите выполнять «символьные вычисления» (переставляя символы вместо использования фактических чисел) в Python, вам понадобится библиотека sympy
.
from sympy import symbols, Matrix
a, b, y = symbols(['a', 'b', 'y']) # Turn a, b, y into symbolic variables
A = Matrix([[1-a-y, a], [b, y]]) # Define the matrix
print(A.det()) # Print its determinant
# Prints "-a*b + y*(-a - y + 1)"