В чем принципиальная разница между ними? На стороне сервера в сервисе я использую readerQuotas для размещения больших длин строк (Int32.MaxValue). Каково значение maxReceivedMessagesize тогда?
maxReceivedMessagesize - общий размер сообщения.
readerQuotas - размер частей сообщения, например длина строки в сообщении.
Вам нужно их обоих, поэтому установите их достаточно высоко для прохождения вашего сообщения, часто значения по умолчанию будут в порядке.