Хорошо, API поможет вам выполнять инфраструктурные / административные задачи, такие как загрузка новых экземпляров, мониторинг использования их ресурсов и т. Д. (Как вы уже заметили). Но, очевидно, чтобы создать свой собственный экземпляр балансировщика нагрузки, вам нужно будет войти в любой вариант Linux, который вы выберете, и установить программное обеспечение балансировки нагрузки / обратного прокси-сервера, такое как HAProxy или Nginx.
Я подозреваю, что это было сделано многими, поскольку совсем недавно Amazon ELB стал более многофункциональным (например, завершение SSL, сохранение файлов cookie).
Вы можете найти это полезным:
http://blog.rightscale.com/2010/04/01/benchmarking-load-balancers-in-the-cloud/ вместе с официальным документом, упомянутым в сообщении в блоге. Очень распространенным подходом является установка HAProxy вместе с Stunnel или Pound (последние два для завершения SSL).