Сериализация Android печально известна медленный. Я настоятельно рекомендую перейти на использование XML или JSON (или чего-либо другого) и записать файл таким образом. Поскольку у вас уже есть синтаксический анализатор XML, может оказаться наиболее целесообразным просто кэшировать исходный загруженный вами XML-файл и при необходимости выполнить его повторную обработку.
Я перешел с Serializable на хранилище файлов JSON в приложении раньше, и увеличение скорости было невероятным, по крайней мере, на один порядок.
(Возможно, я неправильно понимаю ваш вопрос - я предполагаю, что вы используете Serializable для записи на диск. Если вы воспроизводите XML, то я не уверен, почему он намного медленнее на SD-карте. согласитесь, что база данных SQLite, как правило, наиболее целесообразна, но, как вы уже заявили, она не соответствует потребностям вашего приложения.)