Да, это было бы безопасно. Но обратите внимание, что немедленное удаление также означает, что вы не можете использовать их в качестве ключа в картах, а также означает, что бэкэнды состояния кучи (вы можете использовать его для поиска, но при модификации потребуется создать копию). Так что для простых цепочек карт это должно работать хорошо, но перед использованием объединений, windows и группировки я бы дважды проверил это или создал свои собственные защитные копии в соответствующих местах.
Кстати, если хотите для повышения производительности почти всегда рекомендуется отказаться от сериализации Kryo. Kryo замедлит любой сетевой трафик c, если он у вас есть. Если это так, попробуйте использовать POJO, некоторые хорошо поддерживаемые форматы, такие как Avro, или напишите свой собственный сериализатор. Это, безусловно, улучшит производительность больше, чем повторное использование объекта. Этот пункт не применяется, если у вас нет сетевых каналов.