Вы говорите из полностью связанных слоев и якорных ящиков в йоло. Только первая версия Yolo имела полностью связанный слой, но не имел якорей. Yolo v2 и v3 оба являются полными CNN без каких-либо полностью связанных слоев, но с якорями.
В первом yolo ширина и высота были прямо предсказаны относительно ширины и высоты ввода. В Yolov2 и v3 использовались якорные ящики, и только изменение масштаба ширины и высоты якорей происходит так же, как, например, в Faster R-CNN, SSD.