Предполагая, что вы имеете в виду системную группу (вы написали "UNIX group"): используйте mod_authz_unixgroup и mod_authnz_external.
AddExternalAuth pwauth /usr/sbin/pwauth
SetExternalAuthMethod pwauth pipe
...
<Location /path/to/restricted/...>
AuthType Basic
AuthName "Restricted area"
AuthBasicProvider external
AuthExternal pwauth
AuthzUnixgroup on
Require group ...
</Location>