Поскольку вам нужно вернуть массив CGPoint, ваш массив должен содержать тип NSValue, поскольку массив не может содержать тип структуры
+ (NSArray<NSValue *> *)lineEdges:(NSArray<NSValue *> *)points;
и вы должны вызывать свой метод как
NSArray *lineEdges = [OpenCVWrapper lineEdges:@[[NSValue valueWithCGPoint:CGPointMake(3.3, 4.4)]]];
Возвращаемое значение также должно быть в NSValue и извлекать
NSValue *val = [lineEdges objectAtIndex:0];
CGPoint p = [val CGPointValue];