Вы можете использовать текст, который доступен только для программ чтения с экрана, поместив его в промежуток, который вы скрываете доступным способом. Поместите х в CSS, который не может быть прочитан программами чтения с экрана, поэтому он не будет сбивать с толку, но будет виден на странице, а также доступен для пользователей клавиатуры.
<style>
.hidden {opacity:0; position:absolute; width:0;}
.close {padding:4px 8px; border:1px solid #000; background-color:#fff; cursor:pointer;}
.close:before {content:'\00d7'; color:red; font-size:2em;}
</style>
<button class="close"><span class="hidden">close</span></button>