Вам не нужно комбинировать его со StartsWith, поскольку, если он начинается с A или B, то он, очевидно, содержит A или B. Он не может начинаться с A или B и не содержать A или B.
Так что просто используйте StartsWith вместо Contains.
context.Customer.Where(c => c.StartsWith("A") || c.StartsWith("B")).ToList();