Вам нужно сохранить команду как скрипт, скажем ./scripts/01_users.sql
:
ALTER ROLE project_admin SUPERUSER;
Тогда ваш docker-compose:
...
db:
image: postgres:latest
container_name: project-db
environment:
- POSTGRES_USER='project_admin'
- POSTGRES_PASS='projectpass'
- POSTGRES_DB='project'
volumes:
- ./scripts/:/docker-entrypoint-initdb.d/
Это запустит скрипт при запуске и изменит права вашего пользователя.