Я не уверен насчет ограничений на ПЗУ / ОЗУ для PIC18F1320, это основное ограничение.
Эта страница содержит реализацию AES на PIC18F4620.Он использует 2K слова ПЗУ и 240 байтов ОЗУ.
Эта другая страница , кажется, имеет реализацию RSA на PIC18F4550, но предупреждает, что он очень медленный (которыйменя это не удивляет, поскольку для шифрования RSA требуется модульная арифметика с большими целыми числами).