como funciona a IA Copilot e ChatGPT?

• Como o ChatGPT funciona? Simplificado...

O ChatGPT e o Copilot são o que conhecemos como Large Language Models, modelos de inteligência artificial que prevêem a próxima palavra em uma frase. Eles fazem isso de um jeito parecido com o corretor automático do celular, que sugere a próxima palavra enquanto você digita. Porém são muito mais poderosos, em vez de sugerir apenas palavras soltas, conseguem gerar frases inteiras e até manter uma conversa coerente, levando em consideração todo o contexto da conversa.

• A base dos LLMs: Transformers

Tanto o ChatGPT quanto o Copilot usam uma tecnologia chamada Transformer, que foi criada para entender e gerar textos. O nome pode parecer complicado, mas a ideia por trás dele é bem intuitiva.

Imagine que você está lendo um livro, e precisa lembrar o significado de uma palavra. Você não olha apenas para a palavra isolada, mas para o contexto ao redor dela. O Transformer faz exatamente isso! Ele não lê as palavras uma por uma, como uma máquina de escrever, mas sim analisa todas ao mesmo tempo e entende como elas se relacionam.

Isso acontece graças a um mecanismo chamado "attention" (ou atenção), que permite ao modelo dar mais importância às palavras mais relevantes em uma frase. Por exemplo, na frase:

"João foi à loja porque ele precisava de leite."

O modelo entende que "ele" se refere a "João", mesmo que existam outras palavras no meio. Entender essas conexões fazem com que os modelos de linguagem sejam capazes de construir frases coerentes.

• Como os LLMs prevêem a próxima palavra?

Agora, vamos falar sobre a predição da próxima palavra.

- Pense em uma LLM como um jogador de xadrez, mas em vez de prever o próximo movimento, ele prevê a próxima palavra. Ele faz isso analisando milhões de exemplos de texto e aprendendo padrões.

- O modelo aprendeu que certas palavras têm mais chance de vir depois de outras. Se eu disser:

"O céu está..."

O modelo sabe que palavras como "azul" ou "nublado" são mais prováveis do que "banana" ou "televisão".

- Essa previsão não acontece analisando apenas uma palavra. O modelo sempre leva em conta tudo o que já foi dito na conversa e ajusta suas respostas para que façam sentido.

- Uma vez que a palavra seguinte foi predita, o modelo pode continuar sendo executado, repetindo este processo até ser capaz de responder frases ou textos inteiros. 

•  Como o ChatGPT e o Copilot foram treinados?

Para aprender a prever palavras de forma inteligente, os LLMs foram treinados com muitos dados. Aqui está um resumo do processo, de forma simplificada:

1. Coletando dados – Eles foram treinados com textos da internet, como livros, artigos e sites (mas eles não consultam esses dados da internet em tempo real).
   
   
2. Aprendendo padrões – Eles leram bilhões de frases e começaram a entender como as palavras se combinam para formar textos coerentes.
   
   
3. Ajustando o modelo – Depois de aprender os padrões gerais da linguagem, eles passaram por ajustes para evitar erros e responder de forma mais útil e segura.
   
   
4. Testes e melhorias – Tanto o ChatGPT quanto o Copilot foram testados por humanos, que deram feedback para melhorar suas respostas.

• O ChatGPT e o Copilot "pensam"?

Não! Eles não tem consciência, e não entendem o mundo como um humano. Eles apenas prevêem a próxima palavra com base no que aprenderam nos dados de treino.

São muito bons em gerar textos porque aprenderam com milhões de exemplos, mas tudo o que ele fazem é calcular probabilidades e sugerir palavras de forma coerente.

• Resumo

# O ChatGPT e o Copilot usam a tecnologia Transformer para entender o contexto das frases.
# Eles prevêem a próxima palavra, assim como um corretor de celular, mas de forma muito mais avançada.
# Foram treinados com muitos textos da internet para aprender padrões da linguagem.
# Eles não pensam nem entendem o mundo, apenas geram textos com base no que aprenderam.