Отдельные полные и неполные строки из набора данных в пандах и питоне

Question

Как я могу разделить полные и неполные строки в наборе данных в pandas и python (мне нужно разделить их, чтобы получить тестовую и тренировочную модель для вменения)? и после вменения как я могу поместить эти вмененные строки в исходный индекс?

Answer 1

вы можете использовать функции notnull () и dropna () для этого

    #creating a dummy dataset
    s=[1,2,3,4,np.NAN,5]
    s1=[1,2,np.NAN,np.NAN,3,4]
    s2=[1,2,3,np.NAN,np.NAN,np.NAN]
    df=pd.DataFrame({'r1':s,'r2':s1,'r3':s2})
    #reset_index will add a column index for future concatenation
    df=df.reset_index()

    #getting the rows without null values
    not_nulls=df.dropna()

    #getting only the rows with null values
    nulls=df[df.isnull().any(axis=1)]

    #fill the null values using the required logic, Here im just filling with zero
    nulls=nulls.fillna(0)

    #combining not null and filled null rows
    combined=pd.concat([nulls,not_nulls])
    #sorting to get in the original order
    combined=combined.sort_values(by='index')