Отвечая на мой собственный вопрос, может ли это помочь любому, кто ищет решение.
Я удалил OxyPlot.Core 2.0 и использовал только пакет nuget OxyPlot.Xamarin.Forms в PCL, Android и IOS. Это решило проблему масштабирования и панорамирования, с которой я столкнулся в пакете OxyPlot.Core.