Выбор оптимального решателя логистической регрессии для MNIST

Question

Я новичок в машинном обучении.Я следил за некоторыми онлайн-учебниками , где они подгоняют логистическую регрессию к данным MNIST с помощью библиотеки Python Scikit.Показанный по умолчанию решатель liblinear работает медленно на обучающем наборе размером 60 000 изображений, поэтому в руководстве предлагается использовать решатель lbfgs.

Однако, руководство пользователя предполагает, что этот решатель подходит только для небольших наборов данных:

Решатель «lbfgs» рекомендуется использовать для небольших данных-set, но для больших наборов данных его производительность страдает.[9]

Хотя я знаком со статистикой, где небольшой набор данных обычно <100, как я могу обосновать выбор этого решателя здесь, а также как я отношусь к размеру выборки вэтот случай?Должно ли это просто основываться на интуиции / производительности или есть какие-то строгие критерии? </p>

Answer 1

Речь идет не о решателе, который будет использоваться.Использование логистической регрессии для данных MNIST дает некоторые более низкие результаты.Потому что он просто проводит границу между двумя категориями.Принимая во внимание, что если вы используете нейронные сети, сверточные нейронные сети, SVM с любым ядром, отличным от «линейного», то они будут давать оптимальные результаты при условии наилучшего соответствия параметров.

Solver определенно тратит ваше время.Но лучше использовать модели выше.