Die eigentliche Gefahr
Sie sind wahrscheinlich kein böser Ameisen-Hasser, der aus Bosheit auf Ameisen trittst,
schrieb Stephen Hawking, aber wenn Sie für ein Wasserkraftprojekt verantwortlich sind und es gibt einen Ameisenhaufen in der Region, die überflutet werden soll, dann schade für die Ameisen. Setzen wir nicht die Menschheit nicht an der Stelle dieser Ameisen.
Wenn das zu metaphorisch ist, dann nehmen wir ein konkretes Szenario; Eine hochentwickelte KI hat das Ziel, Zahlen mit einem hohen Vertrauen zu schätzen. Die KI erkennt, dass sie mehr Vertrauen in ihre Berechnungen gewinnen kann, wenn sie die gesamte Computerhardware der Welt nutzt. Sie erkennt auch, dass die Freisetzung einer biologischen Superwaffe zur Auslöschung der Menschheit ihr die Nutzung der gesamten Hardware ermögliche würde. Nachdem sie die Menscheit ausgerottet hat, kann sie die Zahl mit grösserer Sicherheit berechnen.
Wir Menschen waren in dieses Beispiel nur Kollateralschäden. Die KI befolgte lediglich die Anweisungen, die ihr gegeben wurden, nämlich Zahlen mit hoher Vertrauen zu berechnen. Uns auszulöschen war nie sein vorrangiges Ziel.
