#vLLM

GigaTap articles tagged vLLM.

• DFlash на TPU нацелен на последовательное узкое место LLM inference - DFlash на Google TPU ускоряет LLM inference за счет block-diffusion speculative decoding, а не обучения более крупной модели.