Combien de RAM vous faut-il pour défier GPT-3 ? Découvrez la réponse ici!
Savais-tu que former GPT-3 coûte environ 4,3 millions de dollars? Mais combien de puissance de calcul faut-il pour exécuter le programme finalisé? IBM Watson chatbot AI coûte seulement quelques centimes par message de chat, et OpenAI Five semblait fonctionner sur une simple configuration PC gaming. Alors, je me demande quelle puissance de calcul est nécessaire pour faire fonctionner ce programme d’IA fini.
Pour répondre à ta question sur la quantité de RAM nécessaire pour GPT-3, il semble qu’il te faudrait au moins une petite ferme pour exécuter le plus gros modèle en raison des exigences en mémoire (175 milliards de paramètres soit 700 Go de mémoire). Le plus grand GPU a 48 Go de VRAM. GPT-3 sera disponible en huit tailles, avec des modèles allant de 125 millions à 175 milliards de paramètres. Ainsi, selon le modèle utilisé, tu auras besoin de plus ou moins de puissance de calcul et de mémoire.
Il est encore prématuré de répondre à cette question car OpenAI n’a pas encore rendu GPT-3 disponible en mode autre que via une API basée sur le web. Il semble qu’il faille 300 Go pour charger GPT-3 en inférerant si on utilise des nombres flottants en demi-précision (FP16). Pour te donner un ordre d’idée, même en combinant quatre cartes GPU dans un seul boîtier ne fournit que 192 Go, donc pas assez.
OpenAI va commencer à vendre sa technologie générationnelle de texte et les premiers clients incluent Reddit. L’accès à l’API GPT-3 se fait sur invitation uniquement et la tarification n’est pas encore décidée. Tu peux t’inscrire sur la liste d’attente d’OpenAI ici : https://beta.openai.com/
En somme, il te faudra une configuration costaud si tu veux jouer avec les gros modèles d’IA comme GPT-3 – mais attention au vide-grenier des GPU! La course aux équipements peut être palpitante! 😉
- Pour exécuter GPT-3 efficacement, vous aurez besoin d’au moins 700 Go de mémoire RAM pour le plus grand modèle, avec ses 175 milliards de paramètres.
- Les tailles des modèles GPT-3 varient de 125 millions à 175 milliards de paramètres, ce qui influence la quantité de puissance informatique et de mémoire requise.
- Le chargement de GPT-3 pour l’inférence nécessite environ 300 Go en utilisant des nombres flottants en demi-précision (FP16), ce qui dépasse la capacité des cartes GPU actuelles.
- L’accès à l’API GPT-3 d’OpenAI est actuellement sur invitation uniquement, avec des prix non encore définis.
- OpenAI n’a pas encore rendu GPT-3 disponible autrement que via une API basée sur le web, et les détails sur la disponibilité et les coûts sont en attente.
Q&A✨
How much RAM do I need to run GPT-3?
According to the information provided, to load GPT-3 for inferencing may require 300GB of RAM if using half-precision floating point (FP16). As of now, there are no GPU cards available that can provide 300GB of video RAM.
What are the memory requirements for running GPT-3?
The largest GPT-3 model has 175 billion parameters, suggesting a need for approximately 700GB of memory. The smallest model is around the size of BERT-Base and RoBERTa-Base models.
How does the computing power needed vary depending on the size of the GPT-3 model?
GPT-3 will come in eight sizes ranging from 125 million to 175 billion parameters. The computing power and memory required will depend on which size model you decide to run.
Is pricing available for running GPT-3?
As per OpenAI’s information, access to the GPT-3 API is currently invitation-only and pricing remains undecided at this time. Interested individuals can join the OpenAI waitlist on their website.