🐼 trainium

👇 1 Elementos

vllm

46.4k Python Apache-2.0

A high-throughput and memory-efficient inference and serving engine for LLMs

1 hace 2 año(s) hace 7 día(s)