Вы можете попробовать что-то вроде этого, вы не указали, к чему регрессировать, поэтому в приведенном ниже примере я обозначаю x как «A», а y - «B»:
from sklearn import linear_model
import pandas as pd
import numpy as np
data1 = pd.DataFrame({'A':[np.NaN,np.NaN,np.NaN,np.NaN,14.086600,14.101033,14.160733,13.940633,13.989567]})
data2 = pd.DataFrame ({ 'B':[243.168989,243.104673,242.571222,240.685214,242.652392,
243.611821,243.338931,243.296361,243.676107,243.507886]})
is_finite = np.isfinite(data1['A']) & np.isfinite(data2['B'])
mdl = linear_model.LinearRegression()
mdl.fit(data1.loc[is_finite][['A']],data2.loc[is_finite]['B'])
mdl.coef_