Если вместо этого вы используете метод LoadDataWithBaseUrl , он должен работать:
webView.LoadDataWithBaseURL(null, summary, "text/html", null, null);
Один из способов упростить задачу - это также загрузить WebView из ресурса HTML, что позволит вампросто используйте относительные пути для изображений.
webView.LoadUrl("file:///android_asset/summary.html");
Также убедитесь, что для BuildAction для любого файла активов установлено значение AndroidAsset.