Вы можете использовать регулярное выражение:
var s = @"[HKEY_Something_Something\.abc]";
var result = Regex.Match(s, @"(?<=\.)[^]]*(?=]$)")
// result == "abc"
Краткое объяснение регулярного выражения:
(?<=\.) - preceded by a dot
[^]]* - anything which isn't a ']'
(?=]$) - followed by a ']' and the end of the string