Dans la série « La Petite 🧪 IA Amusante », l’idée est de transformer votre 📱 iPhone en machine à décrire. À décrire ce que vous lui montrez avec 📷 l’appareil photo.
À quoi ça sert ? Au cours d’une visite touristique, vous voulez des informations sur tel monument, tel paysage emblématique, un outil vernaculaire, une antiquité… Vous le cadrez dans votre iphone-appareil photo, vous tapottez l’arrière de l’iPhone, et vous obtenez sous quelques secondes une description qui répond à votre curiosité.
Voici comment faire.
On va utiliser deux outils standard de l’iPhone : l’app Raccourcis (Shortcuts en anglais) et les réglages d’accessibilité.
Vous aurez aussi besoin d’une clé d’API OpenAI. Le mieux est de créer votre compte OpenAI si ce n’est pas fait et de générer une nouvelle clé. Réservez, comme on dit en recettes de cuisine.
Sur votre iPhone1,
- installez le raccourci iOS GPT-4 Vision (lien)
il vient s’ajouter dans l’application Raccourcis - éditez le raccourci pour coller la clé d’API dans le champ prévu à cet effet ; finissez par OK
- Suivez le guide jusqu’à l’écran Réglages ➔ Accessibilité ➔ Toucher ➔ Toucher le dos de l’appareil (Oui) ➔ Toucher 2 fois : ➔ scroller l’écran vers le bas jusqu’à Raccourcis et choisir « GPT-4 Vision »
… puis retour ; vous pouvez quitter les Réglages
C’est fait !
Testez : avec l’appareil photo ouvert, vous cadrez un objet🤳, double-tap à l’arrière de l’iPhone et vous obtenez la description de l’image.
Démo.
Encore deux ou trois choses.
Il arrive que l’API OpenAI ne réponde pas. Vous avez alors un message d’erreur. Rien de grave.
Il est possible d’améliorer l’expérience en éditant le prompt dans le raccourci. Pour ma part, j’y ai ajouté l’instruction de rendre sa réponse en 🇫🇷 français.
Ah, et non, ce n’est pas gratuit.
Pour finir, je conclurai avec mon conseil habituel : faites.vos.propres.essais.
Ah, et puisque vous êtes là (non, je ne vais pas vous demander d’argent pour une cause), si vous pensez avoir besoin d’éclairage, de décodage, d’aide pour appréhender les opportunités de l’IA Générative — ChatGPT, OpenAI, Claude, Gemini, Copilot… — je peux sans doute vous aider : ateliers exploratoires sur mesure, études de cas, outils concrets et immédiatement utilisables, formations QUALIOPI, prototypage… N’hésitez pas à m’exposer votre demande.
Merci pour l’inspiration @rowancheung
il y a sans-doute moyen de faire la même chose sous Android, si vous savez, n’hésitez pas à expliquer en commentaire ↩