Как уменьшить задержку данных, отправляемых через API REST

Question

У меня есть приложение, которое получает данные в формате JSON с одного из наших других серверов. Проблема, с которой я сталкиваюсь, заключается в значительной задержке при запросе этой информации. Поскольку передается много данных (около 1000 записей на запрос, где каждая запись довольно большая), существует способ, с помощью которого сжатие поможет снизить скорость. Если да, то какую схему сжатия вы бы порекомендовали.

Я прочитал в другой ветке , что их структура данных также имеет большое значение для типа сжатия, который необходимо использовать. Структура данных является последовательной и напоминает следующую

 :desc=>some_description
 :url=>some_url
 :content=>some_content
 :score=>some_score
 :more_attributes=>more_data

Может кто-нибудь порекомендовать решение, как я мог бы уменьшить эту задержку. Их задержка составляет около 6-8 секунд. Я использую Ruby on Rails для разработки этого приложения, и сервер, предоставляющий данные, по большей части использует Python.

Answer 1

Сначала я посмотрю, как много из этой 8-секундной задержки связано с:

1. Обработка на стороне сервера (сколько потребовалось для создания данных) Есть много методов, чтобы улучшить это время, в том числе:

   • индексы БД

   • Кэширование

   • более быстрая библиотека to_json

Некоторые отличные ресурсы - это подкасты NewRelic о масштабируемости Rails http://railslab.newrelic.com/2009/02/09/episode-7-fragment-caching

1. Задержка передачи (сколько времени потребовалось для передачи данных между сервером и клиентом)

   • если ключи практически одинаковы, вы можете реализовать решение из Алгоритм сжатия для JSON-кодированных пакетов? ; Вы можете посмотреть на http://wiki.github.com/WebReflection/json.hpack/specs-details и http://www.nwhite.net/?p=242

   • в дополнение к этому, вы также можете сжать (gzip) его с вашего внешнего сервера http://httpd.apache.org/docs/2.0/mod/mod_deflate.html http://wiki.nginx.org/NginxHttpGzipModule

   • Если структура данных постоянна, и вы также можете попытаться реализовать бинарный сервис, который намного быстрее, включает сжатие, но также более сложен в обслуживании, например, thrift http://www.igvita.com/2007/11/30/ruby-web-services-with-facebooks-thrift/

   • Если это подходит для ваших нужд, возможно, вы можете создать серверную систему управления версиями / кешем и отправлять только те записи, которые были изменены (но это довольно сложно реализовать)

Answer 2

gzip может значительно уменьшить размер текстовых данных и оптимизировать скорость загрузки. Также рекомендуется YSlow .