Easy Tech #32 - Analyse DU produit de 2023... ChatGPT
Est-ce qu'on peut comprendre son succès ?
Salut à tous,
Aujourd’hui on se retrouve pour parler de l’application qui a marqué notre année 2023… ChatGPT
Un peu à rebours de ce qu’on voit beaucoup comme contenu sur ce sujet, j’aimerais vous proposer une analyse Produit de cette application.
J’aimerais passer un peu de temps sur le sujet car :
C’est un événement assez inédit de voir une application comme celle-ci faire autant de bruit et susciter autant de discussions (aussi vite)
Pour autant, je trouve qu’on manque d’éléments qui creusent les éléments sous-jacentes, derrière ce phénomène.
Je vais donc vous l’analyser en Product Manager, pour creuser certains aspects de ce produit sur les enjeux tech, UX et business.
Allez c’est parti 🔥
Synthèse
ChatGPT a connu un développement atypique avec une création en sous-marin puis une explosion soudaine à la fin de l’année 2022.
Au niveau technique, le succès de ChatGPT s’explique par une maîtrise des modèles de langage avancés qui permet à l’application d’être précise et pertinente pour répondre aux questions posées.
Au niveau UX, le mode conversationnel poussé par ChatGPT est innovant et diffère des modes traditionnels. Il est très probable que ce mode d’interaction évolue dans le futur vers une simplification et une intégration plus poussées.
Au niveau business, le modèle économique freemium correspond à celui de nombreux autres produits BtoC ou BtoB. L’enjeu pour OpenAI est de sécuriser un volume significatif d’utilisateurs payants dans les années à venir.
Histoire de ChatGPT : un démarrage plutôt discret et l’explosion fin 2022
5 ans sous-marins
Premier point important, ChatGPT est un logiciel ou produit développé par l’entreprise OpenAI. Cette entreprise est fondée en 2015 par Elon Musk (le célébrissime fondateur de Tesla, Paypal etc…) et Sam Altman (aujourd’hui CEO d’OpenAI).
Les deux vont assurer la direction de l’entreprise jusqu’en 2018 date à laquelle Elon Musk quitte la direction d’OpenAI. En 2019, Microsoft annonce vouloir investir près d’1Mds de dollars dans OpenAI. Cet investissement est conditionné à la sortie de produit commercialisable par la société d’IA.
Ce n’est que 5 ans après sa création qu’OpenAI sort ses premiers produits :
GPT3, un modèle algorithmique qui permet de générer du texte sort en 2020.
Dall-E sort en 2021, c’est un logiciel qui permet de générer des images à partir de textes, aussi devenu célèbre ces derniers mois mais un peu moins que son concurrent majeur, MidJourney.
Finalement en 2022, ChatGPT, un agent conversationnel accessible gratuitement en ligne et basé sur GPT3 est lancé par OpenAI.
Avant de détailler la période 2022, quelques remarques :
Il y a assez peu d’infos sur ce qu’il s’est passé avant l’explosion de 2022. J’imagine qu’il y avait une volonté de garder les choses confidentielles pour éviter que ça motive la concurrence à se lancer. Mais ça traduit aussi le fait qu’il y ait eu très peu d’interactions avec le marché et les utilisateurs cibles
C’est intéressant car c’est complètement à rebours des approches MVP qui poussent à se confronter le plus vite possible à son marché pour valider qu’on apporte de la valeur !! Il y a deux semaines c’est aussi ce que je montrais pour Spotify (cf mon édition de la semaine dernière). Comme quoi, il n’y a pas de vérité absolue. On peut passer 5 ans sans parler à son marché et faire un produit exceptionnel.
Cela est dû au fait que le produit ChatGPT repose sur une vraie prouesse au niveau tech. Avant ChatGPT, personne n’arrivait à faire fonctionner des chatbots réalistes et efficaces. Il y avait donc un enjeu au niveau de ce cercle tech si on reprend les 3 cercles du Product Management. Dans ces situations, on peut avoir besoin parfois de passer beaucoup de temps sur de la R&D avant que ça vaille la peine de pousser au marché (pas d’intérêt de s’engager si la probabilité que ça marche techniquement est très faible).
(Je me suis largement basé sur l’article Wikipedia de ChatGPT pour faire cette synthèse.)
Le feu d’artifice de fin 2022
Ça a été un des événements de la fin d’année 2022. De manière assez simultanée, ChatGPT et Dall-E ont été très médiatisés et tout le monde a commencé à en parler. Quelques éléments qui m’ont marqué et qui illustrent ce succès :
→ Des gens qui ont commencé à se lancer sur le sujet et à intégrer ChatGPT dans leur intitulé de rôle / poste sur LinkedIn. Parfois en s’auto-proclamant direct : “expert en ChatGPT” ; d’autres fois de manière plus subtile en mettant en avant “je t’aide à utiliser ChatGPT pour…”
→ Des offres d’emplois sont postés pour des Prompt Engineers. Le Prompt Engineer est le rôle qui va réfléchir à la bonne manière d’interagir avec ChatGPT ou l’outil de GenAI. On appelle “prompt” les indications qu’on va donner à ChatGPT ou l’outil de GenAI (par exemple, “agis comme un Product Manager expert et rédige-moi une newsletter sur xx” = un prompt).
→ ChatGPT a même fait la couverture du célèbre magazine Time en mars 2023.
→ Chez L’Oréal également, je me rappelle qu’on se posait beaucoup la question de comment l’utiliser. Or ce qui me frappait, c’est que les questionnement n’étaient pas uniquement du côté des “techos” et geeks, mais aussi au niveau des strates business et stratégiques plus élevées.
Ces deux derniers points (Time, L’Oréal) traduisent le fait que ChatGPT n’est pas uniquement un outil “niche” pour des gens passionnés d’IA. ChatGPT est devenu mainstream, il a conquis le marché grand public. Il a traversé le fossé / crossed the chasm (ce qui est toujours difficile je vous renvoie à ma précédente newsletter pour plus de détails).
Impressionnant.
Enjeux tech : une exploitation de la puissance des LLMs pour un réalisme à couper le souffle
ChatGPT étant un agent conversationnel, cela implique qu’il soit suffisamment performant pour être réaliste face à des humains. Par ailleurs, on va voir également que cela entraîne des besoins pour assurer un bon fonctionnement de manière durable et dynamique.
Des performances et une précision bluffants
Dans un premier temps, examinons l’enjeu de performance.
Commençons par le définir. Quand on parle de performances, il s’agit d’évaluer à quel point le produit est réactif dans son interaction avec un utilisateur.
Pour ChatGPT, cette réactivité peut s’envisager à deux niveaux :
Réactivité pour des actions “basiques” comme charger la page d’accueil ou naviguer dans l’application
Réactivité pour les actions “coeur” de ChatGPT, à savoir discuter avec lui
Or, la réactivité basique me semble tout à fait bonne. C’est plus sur la partie réactivité “coeur” que cela pourrait être plus difficile.
Les algorithmes utilisés sont extrêmement complexes et ils ont vocation à aller parcourir des bases de données également très significatives. En d’autres termes, quand on pose une question à ChatGPT c’est un challenge technique car :
La question peut être posée de manière ambiguë pas forcément claire, et ChatGPT doit l’interpréter vite
Les informations à aller récupérer pour répondre sont également très très volumineuses
À cet égard, force est de constater que ce challenge technique a été remporté haut la main. La rapidité de réponse est impressionnante. À tel point que parfois ça va trop vite pour pouvoir lire en temps réel ce qui est écrit. La version 3.5 est plus rapide que la 4.0 mais même pour cette dernière qui est plus lente, l’écriture apparaît plus vite que ce que mon oeil est capable de lire.
Dans un deuxième temps, examinons la précision
La précision renvoie au fait que les éléments renvoyés par ChatGPT soient des réponses pertinentes aux questions posées.
Pour évaluer la précision de ChatGPT, on peut la comparer avec celle d’un Chatbot classique comme ceux qu’on a au téléphone parfois.
☎️ “Tapez 1 pour xx, tapez 2 pour yy, tapez 3 pour zz”. ☎️
Dans cette situation, le champ des “questions” possibles est extrêmement restreint. Puisque le Chatbot nous impose un nombre limité de questions / réponses possibles (en l’occurrence 3).
Facile d’être précis dans ces conditions !
Pour revenir à ChatGPT, ce qui est donc puissant c’est
La diversité des questions auxquelles ChatGPT est capable de répondre
La précision des informations apportées par celui-ci
Typiquement, sur la diversité de questions possibles, ChatGPT peut endosser des rôles très différents en fonction de ce qu’on lui demande de prendre comme posture dans la réponse à nos questions. En outre, il a accès à une très grande base de donnée et connaît énormément de sujets.
Par exemple, je lui ai demandé récemment de m’écrire un poème à la manière de Victor Hugo dans ce poème Booz endormi pour l’anniversaire d’une amie. C’est une question et ça requiert de connaître le poème de Victor Hugo. Voici le résultat qui était assez impressionnant 😱
💡 La discussion :
Victor : Connais-tu le poème de Victor Hugo "Booz endormi" ?
ChatGPT : Oui, je suis familier avec le poème "Booz endormi" de Victor Hugo. C'est un poème extrait de son recueil "Les Contemplations", publié en 1856. Ce poème évoque l'image biblique de Booz, un personnage de l'Ancien Testament, endormi dans son champ après une journée de travail. Hugo utilise cette image pour explorer des thèmes tels que la solitude, la méditation, et la relation entre l'homme et la nature. "Booz endormi" est souvent considéré comme l'un des poèmes les plus emblématiques et les plus évocateurs de Victor Hugo. Si vous le souhaitez, je peux vous donner un extrait ou une analyse plus détaillée du poème.
Victor : Peux-tu m'écrire un poème court, inspiré de Booz endormi ? Il faut qu'il ait 4 strophes de 4 alexandrins. La thématique est l'anniversaire d'une jeune femme. Tu reprendras le champ lexical paisible et rural de Booz endormi. En revanche tu feras attention de bien terminer par une dernière strophe qui mette en avant son anniversaire de 30 ans.
ChatGPT :
Dans les champs paisibles où la brise s'endort,
Une jeune fille, sous la lune, en sa douce demeure,
Les étoiles veillent, complices de son sort,
Son cœur s'épanouit, l'avenir elle effleure.Les blés dorés dansent, caressant l'horizon,
Un doux secret murmure au creux de son oreille,
L'amour, comme une promesse, éclaire son horizon,
Bientôt le mariage, source de bonheur sans pareil.Les arbres se penchent pour lui souhaiter joie,
Les fleurs s'épanouissent pour célébrer son âge,
En ce jour, où rien ne la noie dans l'effroi,
Savoure la douceur d'un nouveau beau passage.Aujourd'hui, trente ans, carillonne le bonheur,
Dans son cœur, danse la mélodie,
Les étoiles applaudissent ce doux labeur,
Son âme s'illumine de tendre harmonie.
Des enjeux autour de la mise à jour des données et de la boucle humaine dans l’apprentissage
Il y a un fort coût d’initialisation pour créer des modèles complexes comme celui sur lequel se base ChatGPT (pour plus de détails, je te renvoie à mes newsletters sur ChatGPT et l’IA nb1 et nb2) :
Il faut constituer une grosse base de données
Il faut modifier cette base de données pour qu’elle soit au bon format afin que l’algorithme puisse s’entraîner dessus
Il faut entraîner l’algorithme
Il faut ensuite vérifier les résultats et renforcer le modèle
On pourrait penser qu’une fois que tout ça est réalisé, on peut être tranquille et se tourner les pouces ! Or non, bien au contraire, il faut continuer à travailler principalement sur deux aspects :
La mise à jour en continu des données
La vérification des résultats pour renforcer le modèle
Ce sont les deux grands enjeux techniques que je vois pour ChatGPT dans le futur.
D’une part, une mise à jour des données suffisamment fréquente.
Lorsque ChatGPT a été mis à jour, il n’était pas connecté à Internet (il ne remontait pas à plus que 2021). Maintenant, les choses ont évolué pour lui permettre d’accéder à de la donnée plus fraîche. C’est important car les utilisateurs vont avoir besoin d’intégrer régulièrement des nouveaux éléments et être au plus proche de l’actualité.
On ne veut pas juste que ChatGPT nous aide à rédiger des poèmes. On veut qu’il soit en mesure d'analyser des situations complexes récentes ou non, en se basant sur des sources d’information récentes ou non.
D’autre part, on ne peut pas “lâcher” ChatGPT dans la nature. Il est nécessaire de rajouter un contrôle humain sur les réponses que celui-ci nous donne. Cela permet d’éviter qu’il “dérape” et dise n’importe quoi. Ce qu’on appelle les “hallucinations”. En outre, c’est également un moyen de s’assurer que ChatGPT ne dise pas des choses non éthiques. Par exemple, il a fallu le modérer pour l’empêcher d’expliquer comment créer une bombe artisanale. Maintenant ChatGPT répond qu’il n’est pas en mesure de répondre lorsqu’on lui pose ce genre de questions touchy.
On peut voir cette volonté de modération et rétro-contrôle humain dans l’application aujourd’hui. Lorsqu’on demande à l’utilisateur s’il est satisfait ou non de la réponse donnée !
Il y a également eu une industrialisation de ces tâches faite par des travailleurs payés très peu chers au Kenya et dans des conditions assez indignes. Le Time (encore une fois) en avait parlé dans cet article.
Enjeux UX : un mode d’interaction conversationnel qui ringardise les chatbots
Le pari conversationnel qui semble marcher à date
Avant de se pencher sur les interactions, prenons un peu de recul pour réfléchir à la North Star de ChatGPT. Pour moi, elle ressemble à celle de Google qui serait de démocratiser l’accès à l’information et à la connaissance.
Quand on creuse un peu plus, derrière cet accès, il y a deux sous-sujets : (i) pouvoir chercher facilement des informations ; (ii) être guidé pour accéder aux bonnes informations.
En effet, aujourd’hui, la quantité de connaissance accessible pour les humains est immense. Avec Wikipédia, des bibliothèques, des contenus partout sur Internet… Quand on compare avec la situation il y a 100 ans, cela n’a rien à voir. Les choses n’étaient pas stockées de manière aussi accessible.
Cependant, ce n’est pas parce que toute la connaissance est accessible en théorie qu’on peut facilement y accéder (premier point).
Ce n’est pas parce qu’il y a une aiguille dans une botte de foin, que c’est facile de la trouver pour autant.
En conséquence, le volume d’information accessible peut justement devenir une petite malédiction. On ne sait pas forcément où chercher et c’est plus difficile de distinguer les bonnes des mauvaises informations. Puisqu’il y a un volume énorme de matière et des sources extrêmement hétérogènes.
Donc oui il y a énormément d’informations accessibles. Mais quand bien même, il serait très facile de chercher à l’intérieur, ça n’est pas pour autant qu’on trouvera toujours ce qui nous convient.
🤔 Que se passe-t-il quand je ne sais pas si je dois chercher l’aiguille dans la botte de foin nb1 ou l’aiguille dans la botte de foin nb2 ?
C’est là où le mode conversationnel devient puissant et naturel. Il permet à la fois de faciliter l’activité de recherche (premier point) puis également d’aiguiller l’utilisateur sur les bonnes informations à aller chercher (deuxième point).
En prérequis, ChatGPT est connecté au volume massif d’informations stocké sur Internet (enjeux techniques)
Premier point : le fait de poser les questions nous permet d’expliquer, avec nos mots, ce que l’on recherche pour qu’il sache où aller chercher (pour trouver l’aiguille dans la botte de foin)
Deuxième point : le dialogue avec ChatGPT nous permet éventuellement d’affiner notre demande pour qu’il puisse aller focaliser sur les bonnes zones (pour comprendre s’il faut chercher l’aiguille nb1 ou nb2)
C’est un choix assez fort que de rentrer dans ce mode conversationnel.
Historiquement, les rares équivalents étaient :
Les chatbots. Du pur conversationnel mais sans objectif d’accéder vraiment à une large base de connaissances. Ce genre de format n’était je crois, pas très efficace. En effet, les utilisateurs étaient frustré de voir que la machine avait du mal à répondre vite des choses pertinentes.
Les moteurs de recherche comme Google, possèdent un objectif d’accéder à une large base de connaissance mais sans aspect conversationnel. Mais ces produits sont souvent un peu frustrants parce que si on ne trouve pas “la formulation parfaite”, ça ne fonctionne pas. Avec ChatGPT, on peut discuter et il comprend mieux.
Un enjeu de proposer des modes alternatifs de discussion
Dans le futur, je ne suis pas sûr que ce mode “conversationnel” va continuer à se développer comme un schéma d’interaction homme / machine pertinent.
Je remarque avec mon exemple personnel et celui d’autres personnes, qu’on a parfois du mal à faire l’effort de :
1 Aller sur le site de ChatGPT quand on a un point à éclaircir
2 Formuler de manière claire le problème auquel ils font face
J’ai donc l’intuition qu’on va voir petit à petit se développer des interactions plus intégrées et simplifiées.
En termes d’intégration, on peut penser à ce que fait Notion avec son Notion AI. On peut très facilement y accéder quand on est dans Notion. Peu de frictions et pas besoin d’aller sur un autre site ou un autre onglet.
En termes de simplification, on va sûrement voir des requêtes pré-paramétrées pour ne pas avoir à toujours recréer et recontextualiser. J’aime bien l’approche de Tactiq qui est une extension chrome que j’utilise pour enregistrer mes réunions. Ici, on nous propose différentes actions IA de manière plus simplifiée. On peut toutefois bien basculer sur un mode conversationnel en posant une question.
Enjeux business : un modèle économique BtoC assez classique avec un marché cible encore incertain
Un produit qui ressemble aux applications freemium classiques
ChatGPT fonctionne comme une application freemium classique (à l’image de Spotify).
Creusons un peu ce modèle économique. On le compare souvent avec le mode opératoire d’un dealer de drogue 😅
💡 Mode opératoire d’un dealer de drogue
L’enjeu pour un dealer est de vous rendre accro à la drogue. Une fois que vous y êtes accros, vous ne vous posez plus de questions pour consommer chez lui et lui payer de la drogue.
Une manière simple de lancer cette consommation est de vous donner un échantillon de drogue gratuit, pour vous pousser à démarrer.
Une fois que vous avez testé, si la drogue est de bonne qualité et vous convient, vous allez vouloir reconsommer et lui en acheter.
(Ça paraît sordide et cynique mais les entreprises de tabac et les vendeurs d’alcool ont utilisé et utilisent encore ce genre de stratégies).
C’est la même chose pour ChatGPT :
J’essaye ChatGPT en version gratuite
Je trouve ça sympa et utile
Je continue à l’utiliser régulièrement
J’ai envie de l’utiliser sans limitations et/ou avec plus d’efficacité
Je passe à la version payante !
On peut d’ailleurs très bien l’analyser avec le funnel AARRR dont j’ai parlé ici.
Rien de nouveau sur le soleil sur cet aspect. Ce modèle économique ressemble à d’autres applications soit orientées divertissement (Spotify, YouTube, Netflix) ou soit orientées productivité (Notion, Webflow, Trello…)
De même en termes de prix, on est sur un montant qui reste assez limité de 20€ par mois pour accéder à la version 4.0 la plus avancée. Oui pour certains, cela représente une dépense significative. Toutefois, il faut aussi être conscient que cela implique d’avoir un très gros volume d’utilisateurs pour générer des recettes significatives également. En particulier pour rentabiliser les investissements consentis pendant tout le début de la vie de ChatGPT.
💡 Mini calcul des revenus potentiels de ChatGPT
En termes d’ordres de grandeur :
Pour générer 10 millions € par an, ChatGPT doit avoir 40.000 utilisateurs payants pendant un an
Pour générer 100 millions € par an, ChatGPT doit avoir 400.000 utilisateurs payants pendant un an
Pour générer 1 Md€ par an, ChatGPT doit avoir 4 millions d’utilisateurs payants pendant un an
Le volume est très important sachant qu’on ne prend pas en compte d’hypothèses autour de l’attrition (churn) c’est à dire les utilisateurs qui annulent leur abonnement.
Un enjeu autour de la clarification ou diversification de la cible
Comme vu précédemment, aujourd’hui ChatGPT reste un outil avec un prix mensuel faible, ce qui implique de générer beaucoup de volume pour être rentable. Une manière de réussir à générer ce type de volume pourrait être en allant s’attaquer à des entreprises. On a vu sur le screenshot de Trello au-dessus que c’est le genre d’approches que l’entreprise a suivi en proposant un pricing à l’utilisateur. Donc je paye un montant par utilisateur de l’application au sein de l’entreprise.
À cet égard, des petites entreprises ou des profils solopreneurs peuvent être des cibles intéressantes pour ChatGPT. Ceci dit des ETIs ou grandes entreprises sont plus frileuses à l’idée de donner des informations confidentielles à OpenAI. On ne sait pas du tout à l’heure actuelle ce que fait ChatGPT avec les données qu’on lui envoie dans les prompts notamment.
C’est cela est d’autant plus vrai que des modèles alternatifs à ChatGPT Open Source commencent à voir le jour. Comme le modèle Mixtral créé par Mistral AI, la start-up française qui a récemment levé près de 500 millions €.
Bref, pour fiabiliser son modèle économique, il serait sûrement pertinent qu’OpenAI clarifie la cible et envisage des pistes de diversification (catalogue d’apps, publicité…)
Conclusion
Merci de m’avoir lu. J’espère que ça t’a plu !
Si c’est le cas, fais le moi savoir en likant cette édition 🫶
À la semaine prochaine,
Victor