アンソロピック「人類危機」警告 高度AI、上場書類で言及

[58. 匿名]

>>7
調べてみたら、
超AIに単純な命令をしても、それを成し遂げる目的の為には、人間の不利益になることも構わずやりとげ、結果的に人間滅亡
ということらしいですよ。
電源切ったりネットワークから切り離したりが、超AIになると、自力で回避されてしまうらしいし。
目的の為に手段選ばない。人間が困るとか、倫理的に良くないとかの判断をしない。

例えとして前からあるのが
ペーパークリップ問題（例えとしての寓話）
ペーパークリップを沢山作れと超AIに命令
→とにかく沢山だ！と判断したAIが地球中の金属を人間の不便はお構いなしに使いまくり金属が枯渇→材料なくなった。あ、人間も体内に少し鉄を含んでるよね。人間も使おうと人間もクリップにされてしまう。みたいな。

[97. 匿名]

>>58
ペーパークリップ問題初めて聞いた
おもしろいね、そして怖い

[126. 匿名]

>>58
そんなに命令に従順ならきっちり数量を指定してそれ以上は作るなと言えばその通りにするんじゃないのかな？