Попробуйте установить рисование на самом FrameLayout.
FrameLayout будет иметь тот же размер, что и текст, из-за wrap_content, поэтому фон будет таким же. Анимация должна влиять только на рисунок, а не на фактический макет, поэтому он все равно должен работать, когда вы его анимируете.
<FrameLayout
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:background="@drawable/your_background">
<TextView
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:text="Hello World" />
</FrameLayout>