С помощью комментариев Мисоруда мне удалось получить эффект, к которому я стремился. Добавление синтаксиса ["property-name"] https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Operators/Property_Accessors#Bracket_notation и последующее исправление позиций нескольких других синтаксисов.
Одиночная кавычка 'должна была идти перед точкой с запятой;
Добавление оригинального встроенного стиля обратно.
и исправление wp_get_attachment_url($attachment_ids)
для вызова только первой миниатюры
<div style='background-image: url(
<?php /// first inline style
echo get_the_post_thumbnail_url();
?>);' onMouseOut="this.style['background-image']='url(
<?php /// Return to Original Position
echo get_the_post_thumbnail_url();
?>)';" onMouseOver="this.style['background-image']='url(
<?php /// Hover Effect
global $product;
$attachment_ids = $product->get_gallery_attachment_ids();
echo $image_link = wp_get_attachment_url($attachment_ids[0]);
?>
)';">