Хороший способ начать проекты AI или Data Science - начать с самого простого решения (хотя оно может привести к худшим результатам), а затем постепенно делать его все более и более сложным.
Поэтому лично я бы разделил их на 2 разные метки your_object_front
и your_object_back
. Это не заставит вашу модель учиться противоречивым функциям, так что разум лучше даст результаты на более простых моделях.
Еще один положительный момент заключается в том, что вы всегда можете объединить две разные метки в одну в простом сценарии, но никак не наоборот.