Tvrtka vLLM razvila je Semantički usmjerivač koji omogućuje suradnju unutar jednog modela API poziva. Umjesto promjene težina ili izgradnje specijaliziranih agenata, usmjerivač pretvara jedan poziv u ograničenu suradnju unutar sloja za posluživanje. Na taj način omogućuje odabir algoritma, podjelu zadataka, prikupljanje odgovora i sintezu konačnog rješenja, sve dok krajnjem korisniku ne bude vraćen standardni odgovor kompatibilan s OpenAI-jem.
vLLM predstavio Semantički usmjerivač za suradnju unutar modela
Izvori
Originalni sadržaj iz javnih izvora. Pune članke ne objavljujemo — kliknite za izvornu publikaciju.
- Hacker News Front (2026-06-29 18:03) Pročitaj original ↗
AI će pretražiti dodatne izvore i sintetizirati detaljniji sažetak (8-12 rečenica) iz više izvora. Rezultat se ne sprema javno i ne indeksira.