Вам нужно сделать два отдельных подвыбора, чтобы сделать эту работу.
Кроме того, вам необходимо удалить имя таблицы из имен столбцов, которые вы обновляете.
UPDATE customerDetails
SET cust_owed = (cust_owed - (SELECT order_price FROM orders WHERE orders.orderID = ?)),
cust_paid = (SELECT order_price FROM orders WHERE orders.orderID = ?)
WHERE customerID = (
SELECT customerID FROM orders WHERE orderID = ? )
cursor.execute("""
UPDATE customerDetails
SET cust_owed = (cust_owed - (SELECT order_price FROM orders WHERE orders.orderID = ?)),
cust_paid = (SELECT order_price FROM orders WHERE orders.orderID = ?)
WHERE customerID = (
SELECT customerID FROM orders WHERE orderID = ? )""", (orderID,orderID,orderID))