Как я могу уменьшить эффект «нулей» на многомерной разреженной матрице? - PullRequest
0 голосов
/ 18 сентября 2018

Я новичок в питоне и науке о данных, и я пытаюсь запустить многослойную классификацию.Тем не менее, у меня есть более 2.000.000 наблюдений и 230 категорий для прогнозирования.Основная проблема здесь в том, что моя разреженная матрица приведет к большому количеству «нулей», поэтому точность будет чудовищно высокой (классифицируя все как 0).

Например, категория «животные» появляется 11340 раз,Таким образом, в этой категории будет более 1,9 м "0".

Есть ли способ уменьшить этот эффект?Я использовал бинарную релевантность, наивный байесовский и некоторые другие, но я думаю, что основной проблемой является сам фрейм данных.

...