Quel est le prix exorbitant de la formation de GPT-3 selon les analystes et les technologues?
Alors, sur la question de connaître le coût de la formation de GPT-3, laisse-moi te dire que cela vaut vraiment des millions. Selon les analystes et les technologues, entraîner un modèle de langage aussi imposant que GPT-3 pourrait facilement atteindre plus de 4 millions de dollars. Oui, tu as bien entendu – des millions juste pour lui apprendre à parler!
Là où ça devient hilarant, c’est quand on plonge dans l’histoire d’une petite startup nommée Latitude. Latitude avait ce jeu génial appellé AI Dungeon qui utilisait une IA d’OpenAI pour créer des histoires folles basées sur les idées des joueurs. Mais plus les gens jouaient, plus la facture montait en flèche chez Latitude! À un moment donné, ils déboursaient près de 200 000 dollars par mois rien que pour garder ce jeu fonctionnel.
Mais attends, ça ne s’arrête pas là! Ces gros modèles linguistiques nécessitent non seulement beaucoup d’argent pour être formés mais aussi pour être mis en action – et devine quoi? Cela peut coûter un bras! Juste l’utilisation régulière peut demander des sommes astronomiques; disons qu’un chatbot populaire comme ChatGPT aurait pu coûter dans les 40 millions de dollars à OpenAI juste pour répondre aux requêtes mensuelles des gens.
Même si tout cela semble exorbitant, il y a encore de l’espoir! Des entreprises investissent massivement pour rendre l’IA moins coûteuse à opérer. Nvidia par exemple veut rendre son matériel plus efficace avec le temps. Et puis il y a ces petites startups qui cherchent comment réduire ces coûts insensés en étant créatives!
Donc voilà, mettre en place et maintenir GPT-3 n’est pas seulement affaire d’algorithme – c’est également un concours financier démesuré. Mais bon, qui sait? Peut-être qu’à l’avenir, nous trouverons le moyen de former ces mastodontes linguistiques sans vider nos comptes en banque! Qui aurait cru qu’apprendre à une IA à discuter serait aussi ruineux?
- Le coût estimé de la formation d’un grand modèle de langage comme GPT-3 pourrait dépasser les 4 millions de dollars, selon les analystes et les technologues.
- Latitude, une petite startup, a dépensé près de 200 000 dollars par mois pour utiliser le logiciel d’IA générative de OpenAI, alimenté par la technologie linguistique GPT.
- Latitude a finalement réduit ses coûts en passant à un logiciel linguistique moins cher offert par une startup appelée AI21 Labs, tout en incorporant des modèles linguistiques open source et gratuits pour réduire les coûts.
- La montée en flèche des coûts liés aux technologies d’IA générative souligne la réalité désagréable derrière le boom récent de ces technologies : le coût de développement et de maintenance peut être extrêmement élevé.
Q&A✨
Combien coûte-t-il de former GPT-3?
La formation d’un grand modèle de langue tel que GPT-3 pourrait coûter plus de 4 millions de dollars, selon les estimations d’analystes et de technologues.
Qu’est-ce qui contribue aux coûts élevés liés à l’utilisation de l’IA générative?
Le coût élevé du machine learning est attribuable à la fois aux entreprises développant les technologies sous-jacentes et à celles utilisant l’IA pour alimenter leurs propres logiciels.
Comment Latitude a-t-elle réduit ses factures liées à l’AI générateur?
Latitude a remplacé le logiciel GPT d’OpenAI par une solution moins chère proposée par la startup AI21 Labs. De plus, ils ont incorporé des modèles linguistiques open source et gratuits pour réduire les coûts.
Quels ont été les frais mensuels estimés à leur apogée pour Latitude en 2021?
Au pic en 2021, Latitude dépensait près de 200 000 dollars par mois en logiciels d’IA générateurs d’OpenAI et en services Amazon Web.
Quelle était la comparaison ironique des coûts entre employés humains et IA chez Latitude?
Chez Latitude, on plaisantait sur le fait qu’ils dépensaient environ autant pour leurs employés humains que pour leurs employés IA. Ils ont dépensé des centaines de milliers de dollars par mois en IA malgré leur taille relativement petite.