Deploy llm on mobile
Déployer un LLM sur mobile : un guide pas à pas pour ML engineers
Sur ce blog, j'ai déjà parlé pas mal des LLM côté cloud : comment gérer plusieurs SDK avec une LLMFactory, comment construire son propre GPT, ou comment les évaluer proprement. Ces approches partagent toutes un point commun : le modèle vit sur un serveur, derrière une API.
Cet article s'attaque à l'autre branche du métier, beaucoup moins couverte : le déploiement on-device. Le modèle ne vit plus dans un container ECS ou un endpoint SageMaker. Il vit dans le téléphone de l'utilisateur.
J'ai monté la semaine dernière un POC de transcription audio qui tourne 100 % sur le téléphone, dans le cadre d'un projet en santé numérique. Aucune donnée ne sort du device. Et j'ai passé pas mal d'heures à expliquer ce que j'ai appris à des collègues qui n'avaient jamais touché au mobile. J'ai donc décidé de rédiger cet article pour aider un plus grand nombre de personnes à faire le saut, sans avoir à devenir développeur Android ou iOS.