Можно сказать, что не должно быть элементов A с пустым href
cy.get('a').get('[href=""]').should('length',0);
или
cy.get('a').get('[href=""]').should('not.exist');
Вы также можете сказать, что не должно быть элементов A, которые не имеют тега href, если это необходимо, я не был уверен, требовалось ли это
cy.get('a:not([href])').should('not.exist');