В матрице int вы не можете помещать символы или символы (например, '*')
Самое простое, что нужно сделать, это изменить тип матрицы. Вы должны использовать char вместо int.
char[][] matrix = new char[r][c];
Если вы хотите использовать элемент из матрицы для уравнений, вы можете использовать
Character.getNumericValue(matrix[i][j]);
С этим кодом он вернет число, а если он не имеет числового значения, он вернет -1
Вы можете проверить эту ссылку для getNumericValue
нажмите здесь