Уменьшение пикселей в большом наборе данных (склеарн)

Question

Я сейчас работаю над проектом классификации, но сомневаюсь, как мне начать.

Цель

Точная классификация изображений размером 80 * 80 (6400 пикселей) в правильный класс (двоичный файл).

Настройка

5260 обучающих образцов, 600 тестовых образцов

Вопрос

Поскольку пикселей больше, чем образцов, мне кажется логичным 'отбросьте большинство пикселей и посмотрите только на важные, прежде чем я даже начну разрабатывать метод классификации (например, SVM, KNN и т.результаты).До сих пор я пытался найти метод SelectKBest () из sklearn для извлечения объектов.Но как лучше всего использовать этот метод и узнать, сколько k мне нужно выбрать?

Может также случиться так, что я совершенно не на том пути, поэтому поправьте меня, если я ошибаюсь, или предложите другой подход к этому, если это возможно.

Answer 1

Вы предлагаете уменьшить размер вашего пространства объектов.Это метод регуляризации для уменьшения переоснащения.Вы не упомянули, что переоснащение является проблемой, поэтому я бы сначала проверил это.Вот несколько вещей, которые я бы попробовал:

1. Использовать трансферное обучение.Возьмите предварительно обученную сеть для задач распознавания изображений и настройте ее на свой набор данных.Ищите передачу обучения, и вы найдете много ресурсов.

2. Обучение сверточной нейронной сети на вашем наборе данных.CNN - это метод для машинного обучения на изображениях.Проверьте наложение.

3. Если вы хотите уменьшить размерность вашего набора данных, измените размер изображения.Переход от 80x80 => 40x40 уменьшит количество пикселей в 4 раза, при условии, что ваша задача не зависит от мелких деталей изображения, вы должны поддерживать эффективность классификации.

Есть и другие вещиВы можете рассмотреть это, но мне нужно больше узнать о вашей проблеме и ее требованиях.