Без использования виджетов, как лучше всего скруглить углы слоя RenderBox в подклассе, аналогично RenderPhysicalModel: https://docs.flutter.io/flutter/rendering/RenderPhysicalModel/RenderPhysicalModel.html