Системный вызов setsid () существует во FreeBSD и OpenSolaris и является частью POSIX.1. Так что я бы подумал, что он должен существовать во всем, что претендует на совместимость с POSIX.
AIX полностью соответствует «одному или нескольким» стандартам POSIX, но я никогда не использовал его, поэтому не могу прокомментировать это напрямую. Поскольку это поддерживаемая поставщиком операционная система, я рекомендую вам обратиться к поставщику.
Теперь .. Что вы подразумеваете под "эквивалентной командой оболочки"? Что вы подразумеваете под «сессией» в контексте сценария оболочки? Если вам нужен способ запуска второго сценария оболочки с отдельным управляющим терминалом от исходного сценария, я предлагаю вам взглянуть на Экран GNU вместо системных вызовов. Экран должен быть доступен для AIX.
Если у вас есть сценарий оболочки, который в настоящее время работает для вас в Linux, и вы пытаетесь перенести его на другие платформы, включите сценарий в свой вопрос. В противном случае мы летим вслепую.