Краткий ответ: нет.
v0.js по сути является основой платформы AMP, и без нее кэш AMP действительно не знает, что делать с вашим сайтом. Специальные теги внутри AMP (то есть, amp-img, который является частью v0.js) - это то, что позволяет кешу легко распознавать элементы, которые могут быть включены в кеш AMP. Очевидно, что при создании допустимой страницы AMP существуют и другие препятствия, но в конце дня v0.js является требованием.
Если ваша страница уже настолько легкая, вы, скорее всего, уже достаточно дружественны к мобильным приложениям, поскольку размер страницы и AMP-кеш не дадут вам больше никаких преимуществ.