Obrázek ukazuje dvě metody dekódování, jak se používají pro generování odpovědí na základě velkých jazykových modelů (LLM).

Na levé straně je zobrazena metoda Normal Decoding, kde proces generování odpovědí probíhá sekvenčně. V tomto přístupu se odpověď na zadanou otázku „Jaké jsou nejúčinnější strategie pro řešení konfliktů v pracovním prostředí?“ vytváří krok za krokem od začátku do konce.

Na pravé straně je zobrazena metoda Skeleton-of-Thought Decoding (SoT), která je zaměřena na snížení celkové doby potřebné pro generování odpovědi. Tento proces začíná vytvořením kostry odpovědi, což je základní struktura nebo osnova bodů, které mají být v odpovědi obsaženy. V tomto případě jsou to body 1) Aktivní naslouchání, 2) Identifikace problémů, 3) Kompromis. Následně jsou tyto body paralelně rozšířeny o detaily, což vede k rychlejšímu a možná i detailnějšímu vygenerování konečné odpovědi.

Metoda SoT je navržena tak, aby zlepšila efektivitu a kvalitu odpovědí generovaných LLM tím, že napodobuje lidské kognitivní procesy strukturování a rozvíjení myšlenek. Přístup je založen na využití dávkového dekódování nebo paralelních volání API pro paralelní zpracování jednotlivých částí odpovědi.