Нет необходимости изменять тип данных, просто используйте CASE, чтобы преобразовать его в -1 и 1, а затем суммируйте по выражению:
SELECT sum(case when vote_column then 1 else -1 end)
FROM your_table
Чтобы правильно обрабатывать значения NULL, используйте следующее
SELECT sum(case vote_column
when true then 1
when false then -1
else 0
end)
FROM your_table