чтение большого CSV-файла, который содержит столбец с большими значениями текста - PullRequest
0 голосов
/ 03 июля 2018

У меня проблема с большим набором данных при чтении его в sas, который содержит столбец review_text с большими текстовыми значениями. В первом столбце review_id перечислены наблюдения, а не фактический идентификатор. Другие столбцы имеют неправильные значения и смещаются в другие переменные.

 DATA review;
 INFORMAT review_id $50. ;
 INFORMAT review_text $5000. ;
 INFORMAT business_name $100. ;
 INFORMAT business_id $100. ;
 INFORMAT review_date mmddyy10. ;
 INFORMAT city $25. ;
 INFORMAT state $20. ;
 INFORMAT address $250. ;
 INFORMAT user_id $100. ; 
 INFORMAT user_name $100. ;
 INFORMAT friends $500. ;
 INFORMAT yelping_since mmddyy10. ;
 INFORMAT categories $100. ;
 INFILE 'C:\users\scott\desktop\yelp_food_reviews.csv' DELIMITER= ',' dsd LRECL=32767 FIRSTOBS=2;
 INPUT review_id $ review_text $ business_name $ business_id $  review_date review_ratingbusiness_rating num_biz_reviews city $ state $ address $ postal_code 8. latitude 8.10 longitude 8.10 mon_hours $ tues_hours $ wed_hours $ thurs_hours $ fri_hours $ sat_hours $ sun_hours $ user_id $ user_name $ user_reviews_given 8. ave_rating_given 4.1 friends $ yelping_since categories $ is_open 1.; 
 run;

введите описание изображения здесь

...