На клиенте я создаю сокет IPV4
Почему? Не делай этого. Если ваша клиентская программа создает сокет AF_INET (или работает в ОС только для ip4), то вы ничего не можете сделать на стороне клиента , чтобы установить такое соединение.
Если вам просто нужно это сделать, то именно сервер должен быть адаптирован для работы с клиентами IPv4.
Сервер может принимать запрос на подключение от клиента ip4, но это может произойти, только если на стороне сервера отключает опцию сокета IPV6_V6ONLY и, очевидно, если ОС сервера позволяет это. В этом случае сервер ip6 увидит клиента ip4 через ipv4-сопоставленный адрес ipv6.