Creează un cont pentru a te abona la acest blog și a-i urmări articolele pe pagina Lectură.
Articole: 1
-
I wanted activation steering that I could change between messages without giving up vLLM throughput. steering-gemma is the resulting system: a Textual client, an OpenAI-compatible FastAPI server, a vLLM inference worker on one H100, and a separate Hugging…