Это зависит от времени жизни вашего объекта. Если вы уверены, что объект будет когда-либо использоваться только вашим действием, все будет в порядке, передавая контекст конструктору, иначе не передавайте контекст внутри.
Если у объекта есть ссылка на контекст, это остановит сборщик мусора, а поскольку у действия есть ссылки на все его представления, это означает, что вы можете легко очень быстро утратить много памяти.
Здесь легко поймать себя, потому что такие вещи, как ротация устройства, вызывают повторное создание Деятельности, и его легко привязать к Объекту, даже не осознавая.
Так что, вероятно, лучше быть в безопасности и передавать контекст, как и когда вам это нужно.