GPT

Rozbalit box

Obsah boxu

GPT (Generative Pre-trained Transformer) je označení pro rodinu velkých jazykových modelů vyvinutých společností OpenAI. Zkratka GPT znamená Generative Pre-trained Transformer, tedy generativní předtrénovaný model založený na transformerové architektuře. Tyto modely patří mezi nejznámější a nejrozšířenější příklady umělé inteligence v oblasti zpracování přirozeného jazyka (NLP).

První verze – GPT – byla představena v roce 2018, následovaná modelem GPT-2 v roce 2019, který upoutal pozornost svou schopností generovat souvislý a smysluplný text na základě krátkého vstupu. V roce 2020 byla vydána verze GPT-3, která obsahovala 175 miliard parametrů a otevřela novou éru tzv. velkých jazykových modelů schopných zero-shot nebo few-shot učení, tedy bez nutnosti rozsáhlého přizpůsobování pro konkrétní úkoly.

Nejnovější verze, GPT-4, byla spuštěna v roce 2023 a poskytla výrazné zlepšení v oblasti porozumění, logické úvahy, programování, překladu i multimodálního zpracování (text + obraz). Modely GPT jsou nasazeny například ve službě ChatGPT, kterou využívají miliony lidí po celém světě.

Modely GPT využívají techniku předtrénování na obrovských objemech dat z internetu, knih, encyklopedií a dalších veřejných textových zdrojů, následovanou doladěním pomocí učení s učitelem a zesíleného učení od lidské zpětné vazby.

Tyto modely se uplatňují v celé řadě oblastí – od vzdělávání, přes zákaznický servis, vědecký výzkum až po kreativní psaní. Zároveň vyvolávají diskuse o bezpečnosti, etice, autorských právech a dopadu na pracovní trh.