В SwiftUI, Представления являются типами значений. Это только данные, которые описывают вещи на экране. Они могут быть созданы или уничтожены или скопированы в любое время. AVPlayer - это ссылка на конкретный объект проигрывателя. Здесь вы предполагаете, что он будет существовать, и будет только один из них. Это не то, что обеспечивает SwiftUI View.
Вам нужно переместить AVPlayer за пределы View (в объекты Model) и просто привязать к нему действия пользовательского интерфейса.