ЕСЛИ (это большое, если) все ваши многоугольники были прямоугольниками, и область, в которую они должны поместиться, также является прямоугольником, то это будет называться упаковкой в мусорное ведро, Google завалит вас информацией об этом. Если это не так, то я думаю, что вы ищете вариант бин-упаковки, и еще немного, что вы столкнулись с проблемой NP, для которой «попробуй и протестируй» - лучший алгоритм из всех.