IA, LLM et ChatGPT : Comment fonctionne le coeur d'une IA générative

Objectifs pédagogiques

• Savoir distinguer l’apprentissage supervisé et l’apprentissage non supervisé
• Comprendre le fonctionnement et l'entraînement d’un LLM
• Comprendre le fonctionnement et l'entraînement de la diffusion stable
• Savoir mettre en place son propre apprentissage sur un LLM avec le fine tuning
• Savoir mettre en place son propre apprentissage sur la diffusion stable avec les LORA

Contenu de la formation

• Rappels sur l’IA générative
• Qu’est-ce qu’une IA générative ?
• Qu’est-ce que n’est pas une IA générative ?
• L’écosystème des IA génératives : ChatGPT, Stable Diffusion, etc.
• Atelier : Prompter son voisin pour lui faire rédiger un résumé de film
• Fonctionnement d’un LLM
• Vue d'ensemble des modèles NLP et historique
• Fonctionnement de base des modèles de traitement de langue
• Définition et portée des LLM
• Présentation de l'architecture des Transformers
• Attention et mécanisme d'auto-attention
• Techniques de Tokenization : BPE, WordPiece, SentencePiece
• Apprentissage supervisé, semi-supervisé et non supervisé
• Fine-tuning et Transfer Learning
• Pré-entraînement et entraînement distribué
• Biais et équité
• Éthique, confidentialité et sécurité
• Tendances futures et recherche
• Fonctionnement de la diffusion stable
• Vue d'ensemble des méthodes de génération d’images
• Historique et évolution vers la diffusion stable
• Comparaison avec d'autres techniques (GANs, VAEs, etc.)
• Théorie de la diffusion
• Architectures de réseaux utilisées dans la diffusion stable
• Utiliser et entraîner un modèle de diffusion stable
• Questions éthiques
• Tendances futures et recherche
• Mise en place de fine tuning avec GPT
• Pourquoi mettre en place un fine tuning ?
• Avantages et inconvénients du fine tuning
• Déterminer le but du modèle
• Préparer les données pour l’apprentissage
• Création d’un modèle de fine tuning avec GPT
• Utilisation du modèle de fine tuning
• Atelier : Créer un fine tuning pour un ChatBot sarcastique
• Création d’un LORA pour la diffusion stable
• Présentation du concept des LORA
• Présentation de Khoya et de civitai
• Avantages et inconvénients des LORA
• Déterminer la base du modèle
• Préparer les données pour l’apprentissage
• Création d’un LORA avec Khoya
• Utilisation du LORA
• Atelier : Créer un LORA pour générer des portraits de soi-même !

Suivi de l'exécution et évaluation des résultats

• Feuilles de présence
• Questions orales ou écrites
• Mise en pratique sous forme d'Ateliers
• Certificat de réalisation de l’action de formation