Моя ошибка.Я проверял, что ответное сообщение REST содержит свойство AutomatedFormatSelectionContentTypePropertyName, но при вызове SOAP оно не содержит его и выдает ошибку.
поэтому я изменяю это
if (OperationContext.Current.OutgoingMessageProperties.ContainsKey("AutomatedFormatSelectionContentTypePropertyName"))
{
}
на это
if (OperationContext.Current.OutgoingMessageProperties != null && OperationContext.Current.OutgoingMessageProperties.ContainsKey("AutomatedFormatSelectionContentTypePropertyName"))
{
}