Один из способов - обработать событие DRAWEND для ol.interaction.Draw и извлечь все функции с помощью vector.getSource().getFeatures()
.Итерация по объектам дает вам геометрию точек и геометрию прямоугольника.С помощью rectangleGeometry.intersectsCoordinate (pointCoordinate) вы можете проверить, находится ли точка внутри прямоугольника.