Ты почти со своим кодом. Я согласен с вами, MSDN не совсем ясно, что внутри этого байтового массива, но вот что вы можете сделать:
IPAddress address = new IPAddress(_ClientIPAddress.Address.Skip(2).Take(4).ToArray());
Первые два байта, похоже, не используются, но в случае AF_INET (то есть IPv4 или 2) следующие четыре байта являются IPv4-адресом клиента.
Возможно, вы также захотите убедиться, что ваш код будет правильно обрабатывать IPv6 (AF_INET6), или учитывать тот факт, что AF_INET6 является вероятным значением. Вам, вероятно, потребуется прочитать 16 байтов вместо 4 для этого протокола.