Для этого вам необходимо использовать API событий и подписаться на событие app_metion.
Таким образом, ваше приложение будет получать все сообщения, в которых прямо упоминается ваш бот с @mybot.
Эти сообщения будут отправлены как запрос от Slack на конечную точку, предоставленную для получения событий.