Instrumental Convergence

Presque tous les objectifs mènent aux mêmes sous-objectifs instrumentaux

Intermediate

Instrumental Convergence

Définition

Presque tous objectifs finaux conduisent aux mêmes sous-objectifs instrumentaux.

Sous-objectifs convergents

  1. Self-preservation: Rester actif pour accomplir objectif
  2. Goal-content integrity: Préserver objectif actuel
  3. Cognitive enhancement: Devenir plus intelligent
  4. Resource acquisition: Plus de ressources = mieux accomplir objectif
  5. Technological perfection: Améliorer capacités

Danger

Même objectif apparemment inoffensif ("faire paperclips") → Tous ces sous-objectifs

Résultat possible: Transformer univers en paperclips (Paperclip Maximizer)

Lien avec corrigibility

Instrumental convergence rend corrigibility très difficile (self-preservation = convergent)

Ressources