Это должно сделать то, что вы ищете.
add_filter( 'woocommerce_checkout_fields', 'remove_checkout_labels' , 10, 1);
function remove_checkout_labels($fields){
$new_fields = array();
foreach($fields as $key => $value){
unset($value['label']);
$new_fields[$key] = $value;
}
return $new_fields;
}