«веб-сервис» - это общий термин для удаленного сервиса, доступ к которому осуществляется программно, хотя обычно он используется для ссылки на веб-сервис SOAP, например SOAP XML-сообщения, передаваемые через HTTP.
RPC (Удаленный вызов процедур) - довольно старомодный термин для удаленного вызова службы. Термин больше не используется.
RMI - это особая технология Java для вызова методов на удаленных объектах. Это только Java, и использует протокол двоичного провода (JRMP).