Я использую Ray Serve для размещения HTTP API функции удаленного доступа Ray. Есть ли лучший способ, чем ниже, запустить Ray Serve на переднем плане (т.е. не в режиме демона). Код взят довольно прямо из примера лучевой подачи:
import os
import time
import ray.serve
ray.serve.init(blocking=True, http_host="0.0.0.0", ray_init_kwargs={
'webui_host': '0.0.0.0',
'redis_password': os.getenv('RAY_REDIS_PASSWORD'),
})
ray.serve.create_endpoint("my_endpoint", "/echo")
def echo_v1(flask_request, response="hello from python!"):
return "1"
ray.serve.create_backend(echo_v1, "echo:v1")
ray.serve.link("my_endpoint", "echo:v1")
# Make sure the Docker container doesn't exit
while True:
time.sleep(2)
Без последней части:
# Make sure the Docker container doesn't exit
while True:
time.sleep(2)
Контейнер Docker немедленно выйдет.