Я думаю, это должно быть на сервере. Но, как правило, вы должны выяснить, сколько памяти использует один пир, затем умножить на число пиров и оставить около 20% запаса. Что рекомендует использовать программное обеспечение трекера, которое вы используете?
Редактировать
Я посмотрел на проект phpbttracker +, но не уверен, что это то, что вы используете, но он рекомендует использовать p4 1.6 и 1 Гб оперативной памяти для 10000 подключенных пиров. Это с подключением 1 Мбит.
Трекеры довольно интенсивно загружают процессор, поэтому тратите на него столько энергии, сколько можете себе позволить.