作為一名人工智能研究員，我常常會想到人類對人工智能的恐懼。

然而，目前我也很難想象我開發出來的計算機怎么樣才能成為未來世界的怪物。

有時就會像奧本海默在帶頭建造世界上第一顆核彈之后哀嘆的那樣，我會想我是否也會成為“世界的毀滅者”？我想，我會在歷史上留名，但確是臭名昭著。

那作為一名人工智能科學家，我在擔心什么呢？對未知的恐懼由科幻小說作家Arthur Clarke設想并最后由電影導演Stanley Kubrick制成的計算機HAL 9000就是一個很好的例子。

在很多復雜的系統里，例如泰坦尼克號、美國航空航天局的航天飛機、切爾諾貝利核電站，工程師們把許多不同的組件放在一起。

設計師們可能非常清楚每個單獨的元素是如何工作的，但是當這些元素連接在一起時，他們就無法知之甚透，就會產生意外的后果。

所以不能完全了解的系統，往往會不受控制并出現意外的后果。

一艘輪船的沉沒，兩架航天飛機的爆炸，遍布歐亞大陸的放射性污染，在每一場災難都是一系列小差錯導致的大災難。

而在我看來，目前人工智能也落入了同樣的境地之中。

我們從認知科學中學習最新的研究結果，然后將其轉化為一種程序算法并添加到現有的系統中。

我們在還不了解智能認知的情況下，便開始對人工智能進行改造。

例如IBM的沃森和谷歌的Alpha系統，我們將強大的計算機能力和人造神經系統結合在一起，幫助他們取得了一系列令人驚嘆的成就。

如果這些機器出了差錯，可能出現的結果是沃森不會喊“危險”了或者Alpha不能打敗圍棋大師了，但是這些錯誤都不是致命的。

然而，隨著人工智能的設計變得更加復雜，電腦處理器變得更快，它們的技能也會得到提升。

出現意外的風險也在增加，我們的責任也更重。

我們經常說“人無完人”，那么我們創造的系統也肯定存在缺陷。

對濫用的恐懼目前我正在應用“神經進化法”來開發人工智能，在可能引發的意外后果這一方面，我并不十分擔心。

我創造虛擬環境，開發數字生物從而使他們的大腦可以解決日益復雜的任務。

我們會評估這些智能生物的表現，表現最好的會被挑選出來再次生產并研發下一代。

這樣，經過幾代的進化，這些機器生物已經逐漸演變出了認知能力。

現在，我們正在給這些機器生物設定一些非常簡但的任務，比如他們可以做簡單的導航任務，做一些簡單的決定等，但很快我們就會設計出能夠執行更復雜任務更智能的機器，最終，我們希望可以達到人類的智力水平。

在這個過程中，我們會發現問題并解決問題。

每一代機器都能更好地處理前幾代機器曾經出現的問題。

這幫助我們可以減少在未來他們真正進入世界時出現意外結果的概率。

此外，這種"代代相傳“的改良方法還可以幫助我們發展人工智能的倫理道德。

最終我們想要演變出是有可信賴性及利他主義這樣人類道德的人工智能。

我們可以設置一個虛擬環境，給那些表現出友善、誠實和同理心的機器獎勵。

可能這也是一種確保我們研發的是更聽話的仆人或值得信賴的伙伴的方法。

同時也可以減少出現冷酷殺手機器人的幾率。

雖然這種“神經進化法”可能降低出現不可控結果的可能性，但它并不能防止濫用。

但這是一個道德問題，而不是科學問題。

作為一名科學家，我有說出真相的義務，我需要報告我在實驗中發現的東西，不管這種結果我想不想說。

我的重點不是決定我想要什么，而是將結果展示出來。

對社會掌權者的恐懼雖然我是一名科學家，但我仍然是一個人。

在某種程度上，我必須將希望和恐懼重新聯系到一起。

不管從政治上考慮還是道德上，我必須好好思考我的工作可能對整個社會產生的影響。

整個研究界或整個社會對于人工智能要做什么或者成為什么都沒有一個明確的定義。

當然，這可能是因為我們還不知道它的能力。

但我們的的確確需要決定先進人工智能的預期發展結果。

人們關注的一個重要問題便是就業。

機器人目前已經在進行一些諸如焊接汽車部件的體力勞動。

不久的將來，他們可能也會做一些我們曾經認為是只有人類能夠做到的認知工作。

自動駕駛汽車的機器人可以取代出租車司機；自動駕駛的飛機的機器人可以取代飛行員。

在未來，當我們需要看病時，我們不用一直排隊，然后等來一個可能已經非常疲憊的醫生來給我們看病。

我們可以通過一個已經獲得所有醫學知識的系統進行檢查和診斷，并立即由一個不知疲倦的機器人來完成手術。

法律建議可能來自一個全知的法律數據庫;投資建議可能來自市場預測系統。

也許有一天，所有的人類工作都將由機器完成。

就連我自己的工作也可以做得更快，因為有大量機器不知疲倦地研究如何制造更智能的機器。

在我們當前的社會，自動化會使更多的人失去工作，那些擁有機器的人將會越來越有錢而其他人則會越來越窮。

這不是一個科學問題，而是一個亟待解決的政治和社會經濟問題。

對噩夢場景的恐懼還有最后一種恐懼：如果人工智能持續發展并最終超越人類智能，那么超智能系統會發現它不再需要人類了嗎？當一個超智能生物可以完成我們永遠不能完成的事情，我們人類將如何定義我們自己的位置？我們可以阻止被我們自己創造的機器人從地球抹去？到那時候一個關鍵問題是：我們該如何說服超級智能留我們在它們身邊？我想我會說，我是一個好人，是我創造了你們。

我要喚起超智能的同情心使它把我留在身邊。

而我則一個富有同情心的人類生存下去。

多樣性本身就有其價值，宇宙如此之大以至于人類在其中的存在可能根本不重要。

但我不能代表全人類，代表全人類提出一個統一的觀點太難了。

而當我仔細審視我們自己的時候。

我們有一個致命的缺陷：我們彼此厭煩。

我們互相開戰。

我們不平等分配食物、知識和醫療援助。

我們污染地球。

世上有很多美好的事情，但是那些錯誤的，糟糕的都讓人類的存在逐漸變得不那么重要。

幸運的是，我們目前還不需要證明我們存在的理由。

我們還有時間，大約在50到250年之間，這取決于人工智能的發展速度。

作為一個物種，我們應該團結在一起，得出一個很好的答案來解釋為什么超級智能不應該把我們消滅掉。

但這很難做到：我們嘴上說著我們歡迎多樣性，但實際上卻并非如此，就像我們說我們想拯救地球生物，但最后并非能地做到。

我們每個人，無論是個人還是社會，都需要為這種噩夢般的場景做好準備，利用我們剩下的時間來思考如何向我們創造出來的超智能證明我們人類的存在是有價值的。

或者，我們可以認為這種事情絕對不會發生，我們完全無需擔心。

但是超智能除了可能會帶物理威脅外，它們也可能也會帶來政治和經濟上的危險。

如果我們找不到更好的分配財富的方法，人工智能勞動者就會推動資本主義，因為它是只有極少數人才能擁有生產資料。