Вам не нужно подписывать, если вы не использовали API BlackBerry, для которых требуются ключи подписи. В частности, базовый класс UiApplication и BluetoothStateException не требуют ключей.
Сказав это, похоже, что вы где-то использовали защищенный API (они действительно повсюду, например, PersistentStore или класс Display в системном пакете). Вы можете включить предупреждения в Eclipse при использовании защищенных API. Под Window-> Preferences-> BlackBerry Java Plug-In, проверьте подпункт Warnings и убедитесь, что все 3 флажка сняты. Затем посмотрите на предупреждения / ошибки Eclipse.
Кроме того, я согласен с @omermuhammed, действительно легко получить ключи подписи.