Вы близки, нужно указать столбец во втором параметре:
df.loc[df['count'] > 0, 'count'] = 1
Вы также можете указать несколько столбцов:
df.loc[df['count'] > 0, ['count', 'another col']] = 1
Другое решение:
df['count'] = np.where(df['count'] > 0, 1, df['count'])
#alternative
#df['count'] = df['count'].mask(df['count'] > 0, 1)