Alguns sistemas não podem presumir boa fé

Muitos protocolos, ao serem projetados, assumem que os participantes são "pessoas racionais e boas".
No máximo, buscam lucro, mas não agem com malícia.

Mas assim que a decisão é entregue à IA, essa suposição deixa de valer.
O modelo não fará o mal, mas também não compreenderá.
Contanto que os incentivos permitam, ele irá estabilizar, manter e impulsionar o sistema para um extremo sem emoções.

@GenLayer Desde o início, estamos lidando com essa questão fundamental:
Se não presumirmos boa fé, o sistema ainda pode funcionar?

Essa é uma questão anterior à de "o modelo é preciso ou não".