作者：曾毅 中國科學(xué)院自動化研究所研究員、中英人工智能倫理與治理中心主任；北京智源人工智能研究院人工智能倫理與可持續(xù)發(fā)展中心主任；清華大學(xué)人工智能國際治理研究院首席專家。國家新一代人工智能治理專委會委員；聯(lián)合國教科文組織人工智能倫理特別專家組專家

從艾薩克·阿西莫夫的機器人三定律、斯蒂芬·霍金對人工智能與人類生存風(fēng)險的預(yù)見，到諾伯特·維納對自動控制系統(tǒng)安全的擔(dān)憂，近五年來各個國家、科研機構(gòu)和企業(yè)相繼提出的人工智能發(fā)展、倫理與治理原則，相關(guān)的思考與行動見證著人類為推進人工智能向?qū)θ祟愑幸娴姆较虬l(fā)展所做出的努力。當人工智能的進展如此深入地與人類社會深度融合時，一方面，我們看到的是人工智能作為賦能技術(shù)推進社會的進步；另一方面，人工智能發(fā)展中的隱患與不確定性使得我們無法完全脫離彷徨與擔(dān)憂。也正是因為這種不確定性與風(fēng)險、挑戰(zhàn)的存在，才凸顯出人工智能倫理與治理研究、實踐的現(xiàn)實和長遠意義，更需在人類負責(zé)任的創(chuàng)新與呵護下推進人工智能以更穩(wěn)健的方式向未來探索前行。

我在此借曠視AI治理研究院與人民智庫組織的“2020全球十大AI治理事件”評選中的部分案例進行回顧與討論，并再補充年底發(fā)生的一例事件?；赝^去，并非僅僅去看走過的路，更是為了反思我們尚未取得的進展。

隱私保護：從意識到行動

針對“歐美、韓國相繼出臺AI 治理新規(guī)，嚴格限制、甚至禁用相關(guān)人工智能技術(shù)在某些場景的發(fā)展和應(yīng)用”事件。我仍然認為在國家與社會安全等特殊的需求下應(yīng)用人臉識別等技術(shù)有其意義，仍然應(yīng)當鼓勵人臉識別等技術(shù)在十分必要的場景進行合理使用，例如應(yīng)用于追蹤嫌疑人和打拐尋親。但同時應(yīng)當指出，人臉識別的潛在風(fēng)險確實存在，不可忽視，甚至解決其風(fēng)險仍迫在眉睫。首先，從技術(shù)的角度講，生成對抗網(wǎng)絡(luò)的進展使得人臉作為加密技術(shù)不再絕對安全。其次，從隱私的角度講，由于人臉等生物特征的相對穩(wěn)定性，一但泄露即面臨終身風(fēng)險。不僅如此，從人臉圖像和視頻中甚至有研究嘗試可以部分提取出心跳、健康狀況、基因缺陷、性取向等隱私信息。此外還應(yīng)當指出：人臉識別潛在的性別偏見、種族偏見等廣泛存在于其他類型的生物特征識別技術(shù)中，例如指紋識別、步態(tài)識別、虹膜識別、聲紋識別。由于人臉識別應(yīng)用部署最廣泛，得到公眾普遍關(guān)注引發(fā)的擔(dān)憂相對更多，為此，現(xiàn)在部分國家和相關(guān)企業(yè)出臺了暫時性的禁令。然而如果對其他類似技術(shù)中的風(fēng)險與隱患不采取行動盡可能避免潛在問題，將與人臉識別技術(shù)一樣遭受到同樣的挑戰(zhàn)。禁用不能完全解決問題，積極采用技術(shù)和非技術(shù)手段解決隱患才是真正負責(zé)任的創(chuàng)新。

針對“技術(shù)預(yù)警獨居老人水表及校園暴力行為”事件。雖然通過水表監(jiān)測實現(xiàn)對獨居老人健康狀況的關(guān)注是一個另辟蹊徑的設(shè)計。然而在其實現(xiàn)設(shè)計初衷的探索中，我們?nèi)匀灰M行謹慎地討論。在這個應(yīng)用中除了實現(xiàn)對老人身體狀況的關(guān)注，是否仍然泄露了老人的部分隱私？例如除了呵護健康，似乎也可以基于相關(guān)數(shù)據(jù)推理出老人何時在家，是否外出旅行、探親，何時回來等信息，這些信息應(yīng)該被誰掌握？可否確保這些信息不被泄露？倘若是為了防止校園暴力，無論是視覺識別還是語音偵測設(shè)備，都有其不同場景的意義。然而這樣看似“善用”背后的細節(jié)仍然是值得關(guān)注的。沒有采集人臉和動作等視覺信息就保護了隱私是一種誤區(qū)，視頻和聲音信號都可能包含隱私信息。只要是監(jiān)測設(shè)備，可否在沒有暴力事件的情況下盡可能地保護隱私？這是人工智能服務(wù)的技術(shù)創(chuàng)新者應(yīng)當探索的疆域。

年終：大量明星核酸檢測照片在網(wǎng)絡(luò)傳播這一事件引發(fā)廣泛關(guān)注。“只要知道姓名和身份證號，就可以查看他人核酸檢測素顏照”引發(fā)公眾對健康寶系統(tǒng)安全性的擔(dān)憂。通過這一事件可以看到：一方面，某些承接政府機構(gòu)信息系統(tǒng)建設(shè)的企業(yè)并沒能很好地實現(xiàn)對公民關(guān)鍵隱私數(shù)據(jù)的有效保護。另一方面，相關(guān)政府機構(gòu)和企業(yè)對包含公民隱私數(shù)據(jù)的應(yīng)用，特別是政府委托的相關(guān)應(yīng)用服務(wù)，在數(shù)據(jù)保護方面應(yīng)需加強管理和監(jiān)督。之所以通過輸入部分信息就可以獲取他人核酸檢測相關(guān)細節(jié)信息，從系統(tǒng)設(shè)計角度而言存在不嚴格的倫理設(shè)計。雖然他人代查這項功能仍具有現(xiàn)實意義，例如子女和朋友幫助老年人等非手機用戶代查這樣的需求仍然存在，但是如何確認代查結(jié)果經(jīng)過當事人授權(quán)，確保其知情同意，是在系統(tǒng)設(shè)計與實現(xiàn)過程中必須思考清楚并通過技術(shù)實現(xiàn)的。

從隱私風(fēng)險到身份認同的挑戰(zhàn)：腦機接口倫理研究需跟上步伐

針對“??智能可以翻譯?腦想法將?腦信號轉(zhuǎn)化為?本數(shù)據(jù)，讓隱私?處遁藏”案例。現(xiàn)代腦機接口相關(guān)技術(shù)的發(fā)展使得有可能采用一些映射模型解碼部分人類思維的模式，借助腦機接口設(shè)備實現(xiàn)打字、遙控玩具與機械臂等“讀腦術(shù)”的應(yīng)用已日趨商用。雖然從20年前借助核磁數(shù)據(jù)解讀人腦思考的語義概念到這次基于腦電模式進行文本解碼的工作都還是一種端到端的模式分類。但是我們必須未雨綢繆，為其中潛在的倫理問題做好準備。人類的記憶及其激活過程從抽象的層次講可以認為是特定模式的存儲、關(guān)聯(lián)和提取。如果訓(xùn)練的數(shù)據(jù)以及做的任務(wù)類型足夠豐富，加以腦機接口算法的改進，我們無法確保人腦中的隱私不會被解讀出來。當我們看到“讀腦術(shù)”有進展時，更希望學(xué)術(shù)界能夠同步產(chǎn)生負責(zé)任的創(chuàng)新，研究在算法、實驗步驟、應(yīng)用約束等各方面如何盡可能地保證被試者的隱私得到保障。但僅此而已嗎？在“讀腦”的過程中是否會產(chǎn)生“誤讀”？如果是實驗性的文本解碼甚至是做遙控玩具游戲，似乎風(fēng)險是有限的。然而如果是用腦機接口操作機械臂，“誤讀”將有極大風(fēng)險會引起后果嚴重的“誤操作”。由腦機接口引起誤操作傷及受試者、用戶本人或者周圍的人和環(huán)境都是極有可能發(fā)生的事情。此外腦機接口技術(shù)可能會對人類的能動性產(chǎn)生負面影響，這甚至是會影響到用戶對自身的身份認同乃至責(zé)任的劃分。然而其在醫(yī)療、民用領(lǐng)域的意義仍然是積極和廣泛的。我們是否能夠做到一方面受益于以腦機接口為代表的智能增強技術(shù)，另一方面需要讓技術(shù)發(fā)展與應(yīng)用同步甚至是先一步，采取行動盡可能避免其“侵犯隱私”，消除“誤讀”導(dǎo)致后果嚴重的“誤操作”等隱患。

來自人工智能的利益：權(quán)力與責(zé)任并存

針對“全國首例：法院認定人工智能生成文章構(gòu)成作品，擁有著作權(quán)”案例。這讓我回想起2019年“歐盟專利局拒絕AI發(fā)明專利申請”的案例。正如我對“發(fā)明專利”案例的評價：“人工智能在某種受限的領(lǐng)域和場景下確實有可能進行一定程度的發(fā)明創(chuàng)造，未來人工智能最重要的探索方向之一就應(yīng)當是使人工智能真正具備發(fā)明和創(chuàng)造的能力”。在“專利”案例中，我不支持人工智能作為專利申請者。原因是權(quán)力與義務(wù)共存。如果參照人工智能設(shè)計的專利研發(fā)的產(chǎn)品存在缺陷、風(fēng)險和安全隱患(如人工智能用于制藥)，若發(fā)生事故，由于人工智能尚不是責(zé)任主體，并不能實質(zhì)性承擔(dān)責(zé)任。與此類似，如果人工智能生成的文章構(gòu)成著作權(quán)，并由作品自動生成系統(tǒng)的使用人員享有這個著作權(quán)，那么文章可能對社會產(chǎn)生的負面影響及相關(guān)連帶責(zé)任也應(yīng)當由著作權(quán)享有者承擔(dān)。在賦予“著作權(quán)”的同時，我們是否合理強調(diào)了責(zé)任和義務(wù)？在人工智能還不能成為責(zé)任主體的情況下，倘若我們要享有使用人工智能帶來的利益，就必然同時要做好為此承擔(dān)責(zé)任的準備。

從企業(yè)誠心自律到政府與社會多方治理

針對“AI 成監(jiān)工：算法下外賣騎手挑戰(zhàn)交通規(guī)則，助手可能變殺手”案例。有兩件事情可以確定：一是目前的人工智能只有處理數(shù)據(jù)的能力，沒有真正理解的能力。在這個案例中，配送規(guī)劃算法做的只是基于統(tǒng)計的優(yōu)化，而對于這種所謂的“優(yōu)化”過程騎手將如何去執(zhí)行以及可能導(dǎo)致的后果沒有任何理解能力。1950年的“圖靈之問”圍繞“機器是否能思考”，我認為沒有真正的理解何談思考。在對“交通違規(guī)”“生命危險”直至“生”“死”這些對于個人存在具有深刻意義的概念沒有真正理解的情況下，騎手卻被算法“操控”。算法的設(shè)計者和服務(wù)提供者可曾認真想過算法“操控”的是人？二是我很難相信相關(guān)的算法設(shè)計者和服務(wù)提供商從未想過“助手”可能變“殺手”。然而什么使得他們做出選擇仍然這樣做，直至得到社會強烈的反彈？同行之間的惡性競爭使得企業(yè)在道德選擇上彷徨，直接將風(fēng)險從服務(wù)提供商轉(zhuǎn)到了騎手身上，犧牲掉的是那些將風(fēng)險與幾元配送費反復(fù)較量的生命。通過這個案例，我們當然能夠得到企業(yè)需要反思以及做出改變的結(jié)論，但我們能寄希望于所有的人工智能研發(fā)、應(yīng)用、服務(wù)企業(yè)完全做到自律自治嗎？社會輿論的關(guān)注、監(jiān)督與政府的頂層監(jiān)管必不可少。

軍用人工智能：即使無可避免，也要正視風(fēng)險

針對“人工智能首次控制美國軍用系統(tǒng)，或?qū)㈤_啟算法戰(zhàn)新時代”案例。世界上很多國家都致力于發(fā)展軍事人工智能，然而人工智能給軍用設(shè)備與武器帶來能力提升的同時，更帶來了諸多隱患。如果這已經(jīng)是不可避免的發(fā)展趨勢，各國政府、學(xué)者及相關(guān)機構(gòu)務(wù)必攜手應(yīng)對，盡可能避免由于人工智能的現(xiàn)存風(fēng)險引發(fā)的災(zāi)難。人工智能模型存在設(shè)計缺陷、難于抵御不可預(yù)期類型的外部攻擊，這只是人工智能內(nèi)部、外部安全的冰山一角。現(xiàn)代人工智能技術(shù)的進展幾乎難以確保系統(tǒng)實現(xiàn)的目標與人類真正的意圖完全一致。加之人工智能模型目前普遍缺乏可理解性，并對真實世界不具備理解能力，如果我們不能確保實質(zhì)性有意義的人類控制，加之復(fù)雜多變的戰(zhàn)場環(huán)境，使用軍事人工智能將不可避免的增加不必要的風(fēng)險。此外，已有研究指出軍事人工智能可能的衍生品有可能發(fā)展為攻擊社會的工具的可能性，我們?nèi)绾未_保這樣的事情不會發(fā)生？至于致命性自主武器，更應(yīng)該是全人類聯(lián)合禁止使用的。

長遠人工智能的倫理風(fēng)險：未雨綢繆，防患于未然

針對“人工智能技術(shù)突破現(xiàn)有邊界，具備‘ 自主意識’，可實現(xiàn)獨立研發(fā)、自我修復(fù)等功能”案例。生物機器Xenobot的進展是通過算法重塑干細胞的組織方式，使其能夠按照程序設(shè)定的方式生成身體形態(tài)，能夠?qū)崿F(xiàn)一定的功能并且具有可修復(fù)能力。它將在醫(yī)療與環(huán)境保護領(lǐng)域具有廣泛應(yīng)用潛力，但卻遠遠不能說明Xenobot是一種新的生命，更不能說明其具有“自主意識”。沒有繁衍和演化能力的Xenobot實際上仍然是一臺信息處理機器。Xenobot的自我修復(fù)能力來自于原始的干細胞的分化再生能力。而細胞間的自組織使得Xenobot獲得一定移動能力，卻不具備從自我視角整合身體自身及環(huán)境信息的能力。倘若未來人工智能模型能夠?qū)崿F(xiàn)真正意義的“自主意識”，并具有理解能力，那么首先需要做的事情就是發(fā)展其認知共情能力，讓其在理解和共情的基礎(chǔ)上遵循(演化中的)人類倫理道德。這幾乎是人類與通用人工智能和諧共生的唯一方式。有人指出通用智能和超級智能可能幾十年甚至更長時間之后才能實現(xiàn)，然而我卻認為為保證通用智能與超級智能不給人類帶來生存風(fēng)險，我們從現(xiàn)在開始準備也未見得來得及。對于長遠人工智能可能帶來的倫理風(fēng)險及可能的解決道路，我們必須未雨綢繆，防患于未然。

人工智能技術(shù)與應(yīng)用日新月異，發(fā)展中的不確定性也日益凸顯。人類在各種可能性和新奇發(fā)展中不免彷徨。聚焦近年來全球相關(guān)典型事件，科技界、公眾與政府已然意識到人工智能風(fēng)險、倫理與治理的重要性。未來，如何將對風(fēng)險、安全、倫理的思考轉(zhuǎn)化為通過技術(shù)與社會手段的務(wù)實治理，不僅需要全社會的關(guān)注和實踐，更需要在全球視野下深度協(xié)作、長遠布局，確保人工智能負責(zé)任地前行，為人類的未來保駕護航。