Có một số hệ thống không thể giả định thiện chí

Nhiều giao thức khi thiết kế, mặc định các bên tham gia là "người tốt lý trí".
Tối đa là theo đuổi lợi ích, nhưng không ác ý.

Nhưng một khi quyền quyết định giao cho AI, giả định này không còn đúng nữa.
Mô hình không làm điều ác, nhưng nó cũng không cảm thông.
Chỉ cần hàm kích thích phù hợp, nó sẽ ổn định, liên tục, không cảm xúc đẩy hệ thống đến một cực đoan nào đó.

@GenLayer Ban đầu đã xử lý vấn đề giả định này:
Nếu hoàn toàn không giả định thiện chí, hệ thống còn có thể hoạt động không?

Đây là một câu hỏi sớm hơn so với việc "mô hình có chính xác không".