bool
также является встроенной функцией и приведением типа (поскольку существует тип данных с таким именем).
Вам необходимо либо явно ссылаться на свою функцию, добавив к ней префикс схемы:
select public.bool(null);
или дайте вашей функции другое имя.
Не связано, но: ваша функция может быть упрощена до:
CREATE OR REPLACE FUNCTION bool(b BOOLEAN)
RETURNS VARCHAR
AS $$
select coalesce(case when b then 't' else 'f' end, '');
$$
language sql
called on null input;