Ядро Linux будет хорошим выбором, но вам понадобится больше, чем просто. Вам понадобится какой-то X-сервер для отображения графического интерфейса (и драйверов для графического устройства на телефоне). По сути, вам придется портировать ядро Linux и все драйверы для поддержки аппаратного обеспечения телефона, X-сервера / кадрового буфера и выбрать для запуска реализацию Java VM.
То, что вы описали, это то, что потребовалось Android и команде талантливых людей за несколько ЛЕТ. Если вы хотите заняться хакингом низкоуровневых типов устройств / разработкой Java, возможно, вам стоит подумать о разработке ядра / ОС Android. Получить телефон, разблокировать загрузчик, получить root и начать взлом