Хорошо, вот как я решил свою проблему.
Моя задача сборки использовала solutionFile: '**/*.sln'
в качестве ввода.
И я понял, что задачей сборки были запущены все проекты в моем решении (даже iOS, хотя я явно исключил его в Configuration Manager ...). Так что каким-то образом я достиг предела памяти (хотя до сих пор не понял, как это сделать).
Таким образом, я изменил ввод задания на projectFile: 'MyApp.Android.csproj'
, а затем он построил.