Depuis son lancement en novembre dernier, ChatGPT a attiré un nombre impressionnant d’utilisateurs. Selon un comptage récent, le site a reçu déjà plus de 4 milliards de visites. En mars, le chatbot dénombrait 186 millions de comptes. Pour fonctionner, le robot conversationnel s’appuie notamment sur de solides serveurs, ce qui est évidemment loin d’être gratuit. Un nouveau rapport permet de se faire une idée des coûts quotidiens de fonctionnement.

Analyste en chef chez SemiAnalysis, Dylan Patel révèle à The Information que ChatGPT nécessiterait 700'000 dollars par jour pour rester opérationnel. Autrement dit, chaque requête coûterait 36 cents. “La majeure partie de ce coût est basée sur les serveurs coûteux dont ils ont besoin”, souligne l’expert. Il s’agirait d’ailleurs d’une estimation basse puisque celle-ci prend GPT-3 comme référence alors même que les abonnés payants profitent également aussi du modèle GPT-4.

Bien que la formation des grands modèles linguistiques de ChatGPT coûte probablement des dizaines de millions de dollars, les dépenses opérationnelles ou les coûts d’inférence “dépassent de loin les coûts de formation d’entraînement lors du déploiement d’un modèle à une telle échelle”, expliquent Patel et Afzal Ahmad, un autre analyste de SemiAnalysis, auprès de Forbes. “En fin de compte, les coûts d’inférence ChatGPT dépassent les coûts de formation sur une base hebdomadaire”.

Afin de réduire les coûts, Microsoft développe une puce connue sous le nom d’Athena. En chantier depuis 2019, celle-ci permettrait d’aider au fonctionnement quotidien de ChatGPT. Plus de 300 employés de Microsoft travailleraient désormais activement sur son développement. La puce pourrait être prête pour un usage interne par Microsoft et OpenAI dès l’année prochaine.

Source : David Douïeb sur Tom's guide