Вы можете добавить маскирующий слой с размером намного выше на той стороне, на которой вы хотите маскировать.
Вы можете использовать следующий код для маскировки только с нижней стороны.
let maskingLayer = CALayer()
maskingLayer.backgroundColor = UIColor.black.cgColor
maskingLayer.frame = CGRectMake(0, 0, 0, 500);
myView.layer.mask = maskingLayer;
Вы можетеизмените рамку маскирующего слоя, чтобы маскировать разные стороны, которые вы хотите.