Как улучшить пропускную способность request_logs в Google App Engine

Question

Загрузка журналов из App Engine нетривиальна. Запросы сгруппированы; appcfg.py не использует обычный файловый ввод-вывод, а скорее временный файл (в обратном хронологическом порядке), который он в конечном итоге добавляет в локальный файл журнала; при добавлении необходимость находить «страж» затрудняет ротацию журналов, поскольку нужно оставить достаточно старых журналов, чтобы appcfg.py запомнил, где он остановился. Наконец, через некоторое время Google удаляет старые журналы (20 минут для приложения, которое я использую).

По мере масштабирования приложения и увеличения скорости генерации журналов, как можно увеличить скорость извлечения журналов, чтобы appcfg.py не отставал?

Answer 1

Вы можете увеличить размер пакета журналов по запросу. В последнем SDK (1.3.1) проверьте google_appengine/google/appengine/tools/appcfg.py примерно как 861 (RequestLogLines метод класса LogsRequester). Вы можете изменить параметр «limit».

Я использую 1000, и это работает довольно хорошо.