Если я правильно понимаю, вы хотите, чтобы менеджер компоновки автоматически обернул компоненты.Возможно, вам достаточно поведения по умолчанию для FlowLayout.
В противном случае на самом деле довольно легко разработать собственный менеджер макетов, создав подклассы LayoutManager или LayoutManager2.Совет: посмотрите, как реализованы другие простые менеджеры компоновки, чтобы оценить сложность задачи.