Я бы оценил, что при 512k нагрузка extjs должна составлять около 30 с - 1 минута.
Если вы смотрите на 4-минутное время загрузки, ваше время, вероятно, тратится где-то, кроме загрузки библиотеки. Вы уверены, что проблема заключается в размере вашей загрузки или даже в extjs? Может ли быть так, что ваш веб-сервер находится под большой нагрузкой, или что у вас проблема с задержкой?
Что касается уменьшения размера библиотеки - вы не можете сделать намного больше. Библиотека предоставляется в минимизированном формате, и дальнейшее ее удаление не рекомендуется. Только сжатие означает, что вам нужно будет разархивировать на другом конце после загрузки, и вам не нужно много времени на загрузку с библиотекой, которая уже очень мала.