Тренировка Огромных Данных с CNN - PullRequest
0 голосов
/ 21 декабря 2018

Будучи новичком в машинном обучении, я пытался найти множество методов, используемых для обучения классификатора и способов сделать данные читаемыми.Все, что я знаю до сих пор, это то, что ярлыки - это самое важное для классификатора, что очевидно.У меня вопрос, у меня есть огромный набор данных с более чем 300000 изображений и меток в другой папке, объясняющий боковые и ограничивающие рамки для каждого изображения, у меня также есть другая информация о данных, которая находится в другой папке не в папке меток, а в папке разного типа, имеющейФайлы .mat и каждый .mat содержат изображение марки или модели автомобиля на изображении.Поскольку до сих пор я конвертирую данные изображений и меток в единый формат и добавляю их вместе в training_data, что мне делать с разными данными, чтобы их можно было также обучать с метками и данными изображений.

Ваши ответыбудет высоко оценен.

Я расскажу о папке более подробно здесь ниже, так что у вас всех есть больше представления о данных.Мне просто нужны шаги теоретического ответа, если вы, ребята, можете это сделать.

Объяснение данных

Описания папок и файлов следующие:

-image:
  Stores all full car images in the path format 'make_id/model_id/released_year/image_name.jpg'.
-label:
  Stores all labels to the full car images in the path format 'make_id/model_id/released_year/image_name.txt'. Each label file has three lines. The first line is a number which is the viewpoint annotation (-1 - uncertain, 1 - front, 2 - rear, 3 - side, 4 - front-side, 5 - rear-side). The second line is the number of the bounding boxes, which is all '1' in the current release. The third line is the coordinates of the bounding box in the format 'x1 y1 x2 y2' in pixels, where 1 <= x1 < x2 <= image_width, and 1 <= y1 < y2 <= image_height. 
-misc:
  -attributes.txt:
    Each line is the attribute annotation for one model which is in the format 'model_id maximum_speed displacement door_number seat_number type'. For car types, a number from 1~12 corresponds to a specific type, which is described in 'car_type.mat'. Unavailable attributes are denoted by '0' or '0.0'.
  -make_model_name.mat
    Cell array 'make_names' provides the projections from 'make_id' to make names, and cell array 'model_names' provides the projections from 'model_id' to model names.
-part:
  Stores all part images in the path format 'make_id/model_id/released_year/part_id/image_name.jpg'. The correspondance of 'part_id' and part names are: 1 - headlight, 2 - taillight, 3 - fog light, 4 - air intake, 5 - console, 6 - steering wheel, 7 - dashboard, and 8 - gear lever.
-train_test_split:
  This folder generally provides all the train/test subsets used in the paper.
  -classification
    Stores the train/test lists for the classification task with full car images in the paper.
  -part:
    Stores the train/test lists for the classification task with car part in the paper.
  -verification:
    'verification_train.txt' is the image list for training the verification models which is also for testing attribute prediction. 'verification_pairs_easy.txt', 'verification_pairs_medium.txt', and 'verification_pairs_hard.txt' are the three sets with different difficulties for testing car verification models. Each line of 'verification_pairs_XXX.txt' is in the format of 'path_to_image_1 path_to_image_2 label' where label is '1' for positive pairs and is '0' for negative pairs.

Спасибо.

1 Ответ

0 голосов
/ 21 декабря 2018

Что вы могли бы сделать, это сделать разное данные числовыми.

Допустим, у вас есть 3 разных модели автомобиля: Ferrari, Tesla и Lambo.Вы можете определить, что если автомобиль Ferrari, его номер равен 0.Если это Tesla, это номер 1, а если Lambo, это номер 2.Теперь, когда вы загружаете свои метки, загружаете также данные папки misc и выполняете обмен, как определено выше: Ferrari = 0, Tesla = 1, Lambo = 2 Теперь вы можете добавить это к вектору меток и научить сеть предсказывать 0, 1 или 2 для модели автомобиля.Когда сеть сделала прогноз, вы можете утверждать, что прогноз был верным (например, если NN предсказал 1, это означает, что автомобиль на изображении Tesla).

Этот метод вы можете применить к любой другой нечисловой функции из папки misc.Это называется embedding - перевод нечисловых значений в числовые.

...