То, что вы просите, звучит как то, что называется выпуклой оболочкой. Google, что для большого количества информации.
Если точки не обязательно должны быть членами набора, просто найдите ограничивающий прямоугольник.
Если коллекция не должна быть выпуклой, просто найдите центр масс облака, расположите точки вокруг (скажем, по часовой стрелке), и вы получите неправильную звезду.