Точность не является хорошим показателем для задачи классификации, если используется отдельно.Проверьте, что такое матрица путаницы .Сначала проверьте, сбалансированы ли ваши занятия или нет.Выбор функции потерь сильно зависит от этого.Представьте, что набор данных состоит из 90 наблюдений с меткой 0 и 10 с меткой 1. Классификатор, который всегда выбирает 0, получает точность 90%, хотя это наихудший возможный классификатор.
Оптимизатор не очень важен.Просто иди за Адамом.Когда ваша модель дает интересные результаты, вы можете настроить оптимизатор.