Tout comprendre à ChatGPT : le dossier complet
ChatGPT va changer le monde mais 0,1% des gens comprennent comment il fonctionne.
Je ne sais pas si je vais arriver à changer ça 😅
Mais j'aimerais y contribuer !
1 heure avec un expert de ChatGPT
En tout cas c'était l'objectif qu'on s'était fixés avec Benjamin Breton il y a quelques temps dans l'échange que tu peux retrouver ici :
Les 10 points clés à retenir
Si tu es pressé, voici les 10 points récap :
1- ChatGPT c'est du machine learning
ChatGPT est avant tout un modèle de machine learning. On lui donne des données du passé. Et il se débrouille avec pour prédire le futur.
Par exemple, j'ai vendu 10 shampooings quand le prix était à 5€ le shampooing ; j'ai vendu 20 shampooings quand le prix était à 2,5€ le shampooing ; si je mets le prix à 1€... alors un modèle de machine learning prédira que je vais vendre 50 shampooings.
2- Et aussi du deep learning
Le deep learning, c'est un modèle particulier de machine learning. Ça permet d'analyser beaucoup de paramètres (des millions parfois). C'est la seule manière pour faire des analyses compliquées, comme l'analyse d'images.
Par exemple, mon iPhone reconnaît mon visage quand je le déverrouille. Le modèle de deep learning analyse beaucoup de paramètres parce qu'une photo est plus complexe qu'un simple prix d'un shampooing.
3- Quel rapport avec le cerveau humain ?
On présente les modèles de deep learning en parlant de "réseaux de neurones". Parce qu'il y a plein de petits modèles mis en parallèle les uns des autres qui échangent ensemble pour faire les prédictions :
4- Les transformers : le composant qui a tout changé
Le deep learning classique est vite limité pour l'analyse de textes. Donc ChatGPT a une brique technique en plus = les Transformers. Ça lui permet de mieux prioriser les mots à analyser d'une phrase.
Par exemple, pour la phrase "voici un beau chat", un modèle classique met la même attention sur tous les mots. Là où ChatGPT sait que "voici" et "chat" sont les plus importants.
5- Comment "lit" chatGPT ?
ChatGPT est composé de plusieurs sous-composants ou patterns. Ces patterns lui permettent d'analyser des phrases. Par exemple, il en possède un pour trouver le sujet de la phrase.
Il va utiliser tous ces patterns en parallèle pour déterminer quel est le sujet (et avec quelle probabilité), quels sont ses attributs (et avec quelle probabilité) etc...
6- next word prediction
Par exemple, pour écrire un article sur "le shampooing". ChatGPT prédit d'abord le premier mot "le". Puis, le second mot à partir de la demande + ce qu'il a prédit ("le"). Donc second mot = "shampooing" (logique). Il construit sa réponse en réutilisant au fur et à mesure les mots qu'il a commencé à prédire.
7- les trois facteurs qui expliquent le succès de ChatGPT
Premièrement, une base de données énorme de textes pour entraîner l'algorithme. Comme souvent en data science, plus tu as de données en entrée, meilleurs sont les résultats.
Deuxièmement, l'algorithme a été amélioré par du travail manuel. On a effectué beaucoup de tests pour s'assurer que les réponses étaient adaptées sur des sujets sensibles / illégaux.
Troisièmement, une interface très simple et épurée. ChatGPT est extrêmement simple. Un champ pour envoyer des messages. C'est tout.
8- attention à la sécurité
Il ne faut jamais oublier que quand on ne paye pas un produit... on est soi-même le produit ! Donc quand on utilise ChatGPT sans avoir la version payante, ça veut dire qu'OpenAI utilise les messages et les échanges pour améliorer et renforcer l'algorithme petit à petit.
Plus généralement, il ne faut pas mettre de données confidentielles dedans. On a vu très récemment que des employés de Samsung avaient donné des informations confidentielles à ChatGPT. Et que ces informations ont ensuite été divulguées au public.
9- ce qu'apporte GPT4 par rapport à GPT3.5
La nouvelle version de ChatGPT est encore plus puissante que la précédente. En revanche, elle est aussi plus lente. Donc pour aller vite, la version 3.5 fonctionne toujours bien. En revanche, quand on est moins pressé, GPT4 est plus précis. Notamment parce qu'il a été entraîné sur de la data pas uniquement textuelle mais aussi des photos par exemple.
10- les enjeux écologiques
Tous ces modèles sont très consommateurs. Difficile de donner une estimation mais les algorithmes concernés comprennent de très nombreuses couches de modèles imbriquées les uns avec les autres. Il faut donc être conscient du fait qu'utiliser ces modèles représente beaucoup d'émissions de CO2.
Pour autant, la recherche avance vite et on peut espérer vite que de nouveaux modèles beaucoup moins consommateurs vont apparaître vite, même s'ils sont un petit peu moins performants.
Le pdf pour approfondir
