GPT-3
model transformador generador preentrenat
GPT-3 (acrònim anglès de Generative Pre-trained Transformer 3, transformador generador preentrenat) és un model de llenguatge autorregressiu que empra tècniques de l'aprenentatge profund per a desenvolupar textos que simulen la redacció humana.[1] GPT-3 és la tercera generació creada per l'empresa-laboratori OpenAI dedicada a la recerca dins l'àmbit de la intel·ligència artificial.[2][3]
 | |
  | |
| Tipus | Model de llenguatge per a aprenentatge profund |
|---|---|
| Versió inicial | maig del 2020 |
| Versió estable | 175B
|
| Llicència | Microsoft |
| Part de | OpenAI API |
| Equip | |
| Desenvolupador(s) | OpenAI |
| Més informació | |
| Lloc web | openai.com/blog/openai-api/ |
| Id. Subreddit | GPT3 |
|
| |
← GPT-2 | |
GPT-3 està format pels següents conjunts de dades preentrenats:
| Conjunt de dades
(Dataset) |
Nombre d'Entrades
(# Tokens) |
Percentatge del total |
|---|---|---|
| Common Crawl | 410 mil milions | 60% |
| WebText2 | 19 mil milions | 22% |
| Books1 | 12 mil milions | 8% |
| Books2 | 55 mil milions | 8% |
| Wikipedia | 3 mil milions | 3% |
Referències
modifica- ↑ «What is GPT-3? Everything You Need to Know» (en anglès). https://www.techtarget.com.+[Consulta: 13 juny 2022].
- ↑ «What Is GPT-3: How It Works and Why You Should Care» (en anglès). https://www.twilio.com.+[Consulta: 13 juny 2022].
- ↑ «GPT-3» (en anglès). https://honest-ai.com,+10-08-2020.+[Consulta: 13 juny 2022].