#LLM Inference

GigaTap articles tagged LLM Inference.

• DFlash на TPU нацелен на последовательное узкое место LLM inference - DFlash на Google TPU ускоряет LLM inference за счет block-diffusion speculative decoding, а не обучения более крупной модели.