Nous vivons au milieu de nombreuses catastrophes morales, toutes en même temps. L'abondance technologique et matérielle nous a donné l'opportunité de créer un monde véritablement florissant, et nous avons complètement gaspillé cette opportunité. La même chose sera-t-elle vraie pour l'avenir ?

Malheureusement, je pense que c'est probable. Un fil.

Aujourd'hui : Considérons simplement notre impact sur les animaux d'élevage. Chaque année, des dizaines de milliards d'animaux terrestres élevés en usine vivent des vies de misère.

Je pense que le bien-être humain s'est considérablement amélioré au cours des derniers siècles. Mais la souffrance directement causée par l'élevage d'animaux - juste une erreur morale ! - est suffisante pour compenser une grande partie, voire la totalité, de ces gains.

Peut-être que vous ne vous souciez pas du bien-être animal. Mais pensez alors à l'extrême pauvreté, à l'inégalité, à la guerre, au consumérisme ou aux restrictions mondiales sur la liberté. Tout cela signifie que le monde est loin de ce qu'il pourrait être.

En fait, je pense que la plupart des perspectives morales devraient considérer le monde d'aujourd'hui comme impliquant une perte catastrophique de valeur par rapport à ce que nous aurions pu réaliser.

Rien de tout cela ne veut dire que le monde d'aujourd'hui est *mauvais*, dans le sens où il serait pire que rien. Cela signifie que le monde, aujourd'hui, n'est qu'une fraction de ce qu'il pourrait être.

C'est aujourd'hui. Mais peut-être que l'avenir sera très différent ? Après la superintelligence, nous aurons une abondance matérielle et cognitive, donc tout le monde sera extrêmement riche et bien informé, et cela permettra à chacun d'obtenir la plupart de ce qu'il veut - et n'est-ce pas suffisant ?

Je ne pense pas. Je pense qu'il est probable que les gens à l'avenir gaspillent la plupart du potentiel qui aurait pu être atteint - en partie parce qu'il existe de nombreuses façons subtiles dont les choses pourraient mal tourner.

Considérez l'éthique de la population. Une société future idéale a-t-elle une petite population avec un bien-être par personne très élevé, ou une très grande population avec un bien-être par personne plus faible ? Les vies qui ont un bien-être positif mais faible rendent-elles le monde meilleur, dans l'ensemble ?

L'éthique de la population est notoirement difficile - en fait, il existe des "théorèmes d'impossibilité" montrant qu'aucune théorie de l'éthique de la population ne peut satisfaire à tous un certain nombre d'axiomes éthiques qui semblent évidents.

Et des points de vue différents donneront lieu à des visions radicalement différentes d'un avenir presque idéal. Dans la vue totale, l'avenir idéal pourrait impliquer un grand nombre d'êtres chacun avec un bien-être relativement faible ; une petite population de vies à haut bien-être manquerait presque toute la valeur. Mais selon des vues de niveau critique ou de valeur variable, l'inverse pourrait être vrai.

Si la société future se trompe sur l'éthique de la population (soit à cause de valeurs mal orientées, soit parce qu'elle ne se soucie tout simplement pas de l'éthique de la population de toute façon), il lui sera facile de perdre presque toute valeur potentielle.

Et c'est juste une façon dont la société pourrait tout gâcher. Considérez également les erreurs que les futures générations pourraient commettre concernant : Attitudes envers les êtres numériques Attitudes envers la nature du bien-être Allocation des ressources spatiales Compromis entre bonheur/souffrance Biens interdits Compromis entre similarité/diversité Égalité ou inégalité Taux d'actualisation Théorie de la décision Opinions sur la simulation Opinions sur la valeur infinie Processus réflexifs

Pour la plupart de ces problèmes, il n'y a pas d'option "sûre", où un excellent résultat est garanti selon la plupart des perspectives morales raisonnables. Les décideurs futurs devront bien gérer de nombreuses choses.

Et il semble qu'en se trompant juste sur l'un de ces points, cela pourrait suffire à perdre une grande partie, voire la majorité, de la valeur réalisable. Un seul défaut pourrait suffire à rendre la société future bien pire qu'elle n'aurait pu l'être.

C'est-à-dire que nous pouvons représenter la valeur comme le produit de nombreux facteurs. Si c'est le cas, alors un avenir vraiment prometteur doit bien performer sur chacun de ces facteurs ; mal performer sur l'un d'eux suffit à perdre la plupart de la valeur.

Inutile de dire que c'est un grand défi. Pour une discussion beaucoup plus approfondie sur ces questions, voir "No Easy Eutopia":

@William_Kiely "Il est concevable que *l'incertitude morale seule* suffirait à nous empêcher de choisir un avenir qui soit au moins 0,1 % optimal, même si nous avions le plein pouvoir de choisir n'importe quel avenir concret que nous voulions." - pas si nous étions pleinement capables de réfléchir.