Нет, к сожалению, нет. Дизайн FieldInfo.GetValue предназначен для предоставления значения, а не ссылки. На FieldInfo нет другого подходящего метода для предоставления ссылки.
Одна из причин, почему это было бы просто небезопасно. Представьте себе сценарий, в котором объект находится в стеке struct. Если FieldInfo может предоставить ссылку на поле этого struct, то он будет предоставлять ссылку на часть стека, которая может исчезнуть в любой момент. Чтение или запись этой ссылки после удаления стека будет некорректным и нарушением безопасности типов.