Р: Обучающие и тестовые наборы принимают разные значения для категориальной пояснительной переменной: логистическая регрессия

Question

Я пытаюсь предсказать класс, к которому принадлежит генетический вариант. Мой фрейм данных называется Genetic в моем коде. Я разбил свой фрейм данных на набор данных обучения и тестирования следующим образом:

set.seed(1)
train=sample(54248,27124)
test=-train
Genetictrain=Genetic[train,]
Genetictest=Genetic[test,]

Проблема в том, что одна из моих объясняющих переменных (которая является категориальной, один из столбцов фрейма данных) принимает разные значения в тренировочном наборе (Genetictrain) и тестовом наборе (Genetictest). Пояснительная переменная называется Genetic $ Consequence. Уровни Генетического Последствия $:

 [1] "3_prime_UTR_variant"                                           
 [2] "5_prime_UTR_variant"                                           
 [3] "downstream_gene_variant"                                       
 [4] "frameshift_variant"                                            
 [5] "frameshift_variant&splice_region_variant"                      
 [6] "frameshift_variant&start_lost"                                 
 [7] "frameshift_variant&start_lost&start_retained_variant"          
 [8] "frameshift_variant&stop_lost"                                  
 [9] "frameshift_variant&stop_retained_variant"                      
[10] "inframe_deletion"                                              
[11] "inframe_deletion&splice_region_variant"                        
[12] "inframe_insertion"                                             
[13] "inframe_insertion&splice_region_variant"                       
[14] "intergenic_variant"                                            
[15] "intron_variant"                                                
[16] "intron_variant&non_coding_transcript_variant"                  
[17] "missense_variant"                                              
[18] "missense_variant&splice_region_variant"                        
[19] "protein_altering_variant"                                      
[20] "splice_acceptor_variant"                                       
[21] "splice_acceptor_variant&coding_sequence_variant"               
[22] 
"splice_acceptor_variant&coding_sequence_variant&intron_variant"
[23] "splice_acceptor_variant&intron_variant"                        
[24] "splice_donor_variant"                                          
[25] "splice_donor_variant&coding_sequence_variant"                  
[26] "splice_donor_variant&coding_sequence_variant&intron_variant"   
[27] "splice_donor_variant&intron_variant"                           
[28] "splice_region_variant&3_prime_UTR_variant"                     
[29] "splice_region_variant&5_prime_UTR_variant"                     
[30] "splice_region_variant&coding_sequence_variant&intron_variant"  
[31] "splice_region_variant&intron_variant"                          
[32] "splice_region_variant&synonymous_variant"                      
[33] "start_lost"                                                    
[34] "start_lost&5_prime_UTR_variant"                                
[35] "start_lost&splice_region_variant"                              
[36] "stop_gained"                                                   
[37] "stop_gained&frameshift_variant"                                
[38] "stop_gained&inframe_deletion"                                  
[39] "stop_gained&inframe_insertion"                                 
[40] "stop_gained&protein_altering_variant"                          
[41] "stop_gained&splice_region_variant"                             
[42] "stop_lost"                                                     
[43] "stop_lost&3_prime_UTR_variant"                                 
[44] "stop_retained_variant"                                         
[45] "stop_retained_variant&3_prime_UTR_variant"                     
[46] "synonymous_variant"   
[47] "TF_binding_site_variant"                                       
[48] "upstream_gene_variant"  

Однако: когда я запускаю логистическую регрессию на тренировочных данных (Genetictrain), я получаю ошибку:

Error in model.frame.default(Terms, newdata, na.action = na.action, xlev = object$xlevels) : 
  factor Consequence has new levels frameshift_variant&stop_retained_variant, protein_altering_variant, splice_acceptor_variant&coding_sequence_variant, start_lost&splice_region_variant, stop_retained_variant&3_prime_UTR_variant

Мой код для логистической регрессии был:

Logisticfit=glm(CLASS~AF_TGP + Consequence + CHROM + AF_ESP+STRAND + AF_EXAC + CADD_RAW + LoFtool + CADD_PHRED,data=Genetictrain,family="binomial")
LogisticProb=predict(Logisticfit,Genetictest,type="response")

Произошла ошибка (выполнение кода с использованием функции предсказания, описанной выше), поскольку в обучающем наборе Genetictrain отсутствуют случаи изменения белка для последовательности, но в Genetictest есть вариант изменения белка для последовательности:

which(Genetictrain$Consequence=="protein_altering_variant")
integer(0)
 which(Genetictest$Consequence=="protein_altering_variant")
[1] 10720

То же самое для других значений, которые вызывает ошибка.

Есть ли способ обойти это, чтобы я мог запустить функцию прогнозирования без получения ошибки (обратите внимание, что мои объясняющие переменные являются как категориальными, так и непрерывными, и я пытаюсь предсказать CLASS, который является двоичным 0 или 1)? Следствие - важная пояснительная переменная для меня, поэтому я не хочу ее удалять.
Спасибо!

Answer 1

Только что проверил Ваш фрейм данных. Проблема поднята с набором данных несоответствие

набор данных поезда и набор данных испытаний не имеют одинаковую информацию в Genetic$consequence.

Проверьте код ниже:

data.frame(table(Genetic$Consequence))%>%setNames(.,c("Consequnce","Freq"))%>%arrange(Freq)

Выход:

                                                       Consequnce  Freq
1            frameshift_variant&start_lost&start_retained_variant     1
2                        frameshift_variant&stop_retained_variant     1
3                         inframe_insertion&splice_region_variant     1
4                    intron_variant&non_coding_transcript_variant     1
5    splice_region_variant&coding_sequence_variant&intron_variant     1
6                                  start_lost&5_prime_UTR_variant     1
7                                    stop_gained&inframe_deletion     1
8                                   stop_gained&inframe_insertion     1
9                            stop_gained&protein_altering_variant     1

Существует 9 типов следствий частоты, поскольку 1 означает, что вы разбили фрейм данных, который будет использоваться в наборе данных поезда или теста.

Пример Скажем, пример, как «frameshift_variant & start_lost & start_retained_variant» с одной строкой только в Genericdata $ sequence, поэтому, когда вы разделите фрейм данных, он пойдет в наборе данных поезда или теста. если эта строка в наборе данных поезда, то для набора тестовых данных в ней нет строк. Только для этого он возвращает ошибку.

решение: попытаться получить больше переменных для частоты с 1 (означает, что существует только одна строка, поэтому необходимо использовать как минимум 2 для одной последовательности и одну для набора тестовых данных) или же Вы можете подмножество набора данных, например, частоты, с меньшими числами, чтобы вы могли легко получать информацию как в обучающих, так и в тестовых наборах данных.