Вы упоминаете эффективность. Это цель, к которой вы стремитесь? Если вы не ограничены какой-либо конкретной целью, просто попытайтесь заставить ее работать. Я бы сделал таблицу страниц на одном уровне, если вы можете, прямую или полностью ассоциативную. Похоже, что вы прошли через это.
Наиболее эффективный будет зависеть от компромиссов между размером и скоростью и от того, какой тип местности вы ожидаете. У вас есть профилированные критические приложения или это просто возиться, чтобы попробовать некоторые реализации? Перевернутые таблицы страниц используются в некоторых более новых архитектурах. Я бы воспринял это как признак того, что кто-то, проводящий много времени над этим, думает, что это хороший путь.