<samp id="wauki"></samp>
<samp id="wauki"><noscript id="wauki"></noscript></samp>

馬斯克的人工智能才會讓人類毀滅?那AI還是安全行業的未來嗎?

2017-08-17 1499897人圍觀 ,發現 10 個不明物體 資訊

人工智能(AI)從來都不是近兩年才出現的概念,人工智能從 1956 年開始至今歷經了三波浪潮。在 1956 年的達特茅斯會議上,4 名圖靈獎得主, 1 名諾貝爾獎得主,另外加上信息論創始人香農,被認為是最早提出人工智能的一批人。下面這張圖是 2006 年達特茅斯會議上,健在幾個人的合影,這個時間已經是人工智能問世 50 周年。

DA7B8FC2448C503EC5722C4CDC785C2A.jpg

左起:摩爾,麥卡錫,明斯基,賽弗里奇,所羅門諾夫

而人工智能先后歷經三波浪潮,1990 年迎來第二次黃金時期,那一時期日本意欲打造傳說中的“第五代計算機”,日本當時宣稱第五代計算機的能力就是能夠自主學習,而隨著第五代計算機研制的失敗,人工智能再被擱置;到 2006 年深度學習的出現,成為迄今為止人工智能的又一波浪潮。這些是在北京國家會議中心舉辦的 CSS 2017 第三屆中國領袖互聯網安全大會,人工智能和安全倫理分論壇之上,科大訊飛語音云技術總負責人向我們科普的內容。

今年 CSS 大會的一大主題就是人工智能,所以我們才在主論壇上聽到 UCB 的宋曉東教授提人工智能與安全的關系。也不光是如此,這兩年云服務提供商悉數在提大數據、云計算和人工智能,騰訊云也不例外。在昨天大會次日的“大數據及云安全”分會場,騰訊云副總裁,騰訊社交網絡與騰訊云安全負責人黎巍提到,騰訊云的各部分安全產品,包括天御、云鏡、樂固、數盾等都已經用上了“安全 AI 大腦”。

其實云服務提供商高舉人工智能大旗搞安全是種必然,一方面當前正處于單點防護收效甚微的時代,傳統安全工具已經具備很大的局限性;另一方面這個時代所謂的人工智能,主體也就是機器學習,而機器學習最需要的就是數據——數據是云服務提供商的天然優勢項,更何況是騰訊這種體量不光只有云數據的企業。不過這真的是件好事嗎?

CSS 2017 的這兩場分論壇對人工智能的攻防作了更為細致的擴展,黎巍午間在接受媒體采訪時被問得最多的一個問題,就是宋曉東在主論壇上提到的,攻擊者濫用人工智能或攻擊人工智能,安全廠商又做何感想。

DSC_7744.jpg

數據是 AI 的基石,安全更是如此

比較有趣的是,北京派網軟件有限公司 CEO 孫朝暉已經不是第一次被請到安全論壇現場了,他也照例說,派網并非安全企業,而是一家做流控和優化解決方案的企業。去年的阿里云安全峰會上,我們也看到了孫朝暉。他這次解讀了 Panabit 觀察到暗云 DDoS 攻擊爆發期間的流量異常 —— 長期關注 FreeBuf 的同學應該很清楚騰訊針對暗云 III 發了好幾波分析文章。實際上,派網軟件在 5 月下旬就已經發現集中針對某些 IP 的攻擊行為,但攻擊源分散,而且不是一次就產生針對性的超大規模攻擊,屬于“脈沖壓力型 DDoS 攻擊”,所以諸多抗 DDoS 和防火墻一類安全設備最初都沒有檢測到。

騰訊發布暗云 III 的預警和分析時至 6 月 9 日。像孫朝暉去年就說的,如 Panabit 這樣的企業雖手持數據,卻因為并非安全企業而無法有所行動。但孫朝暉經常出現在安全大會的視野中,就是數據價值的體現。

微軟中國首席安全官,政府與公共事業部首席架構師邵江寧在主題演講中,直接將微軟定義為人工智能“最強企業之一”。他在針對機器學習模型的解讀下定義為:

模型 = 數據 + 算法

“安全公司最欠缺的是數據”,而數據可能也會成為人工智能時代,企業間能力博弈的關鍵所在。這大概也是微軟敢于說出這番話的關鍵所在,誰讓人家又是云服務提供商,又是系統制造商呢?這才是手持規模數據的集大成者,惡意程序之類的數據分析和統計幾乎是信手拈來的。微軟宣稱自己有“宇宙級的安全告警數據”,如數十 PB 的日志,3 億活躍微軟賬戶用戶等等。

騰訊云專家工程師成杰峰博士分享的議題名為《圖計算遇見深度學習:安全 AI 篇》。他在演講中分享了騰訊云利用機器學習取締惡意帳號遇到的難點,或許我們可以總結認為,機器學習在安全領域的應用難點就在數據量方面。

DSC_7768.jpg

騰訊云專家工程師 成杰峰

即便我們知道,如早年斯坦福大學、普林斯頓大學和哥倫比亞大學啟動的 ImageNet Challenge 挑戰賽,令計算機視覺的識別精度超越了人類肉眼,但這更像是人們“畫餅”,更是給安全界畫餅。成杰峰認為,計算機視覺取得的這種階段性成功,其根源在于我們原本就有大量圖片可以作為素材源使用,比如貓和狗的圖片。AlphaGo 取得成功的原因相似,就是因為有大量現成樣本。

但對安全領域來說,這種量級的樣本是很難取得的。一方面在于可用于機器學習的大量數據,實際上是事件已經發生之后的數據;另外安全本身是個動態平衡的過程,當我們建立起某個協議規則,攻擊者繞過之后,防御方再做更新,并不斷發生變化。異常識別對于機器學習的要求很高,而且這其中還面臨更多復雜的問題。

從對主機、業務、終端和網絡的分析來看,惡意帳號往往是產生攻擊和欺詐犯罪行為的一大來源。而要利用機器學習從幾十億帳號中識別出惡意帳號,比如從惡意帳號頭像來識別非法色情帳號,那些色情帳號有些頭像很性感,有些則直接露點,有些則帶文字內容。但其實各類色情投頭像實際上只有很少的比例,比如“黑框”不良圖像占比僅有 0.005% 以下,這讓機器學習如何談起?如果僅以“性感”為頭像的考察維度,甚至是帶文字的頭像為特征,則會出現大規模的誤殺。所以最終需要抽取黑產相關信息,結合惡意帳號、黑手機號、黑設備、IP地址,“子圖嵌入深度計算”來完成最終色情團伙信號識別不良圖像。最終據成杰峰所說,其識別準確率可以達到 99%。

CyuNnxnVIAAPgPG.jpg

這其實是騰訊云融合人工智能的一個實例,說到底,補足其短板的仍然是數據。首日主論壇上,云鼎實驗室負責人董志強在《云鼎視點:公有云惡意代碼趨勢解讀》演講中就提到了暗云 III,對 WannaCry 的預先把控,并展示了當前服務器安全軟件使用分析、木馬病毒趨勢統計,甚至 WebShell 的特點分析,這些都是云服務提供商數據優勢的體現。

AI 真的是安全行業的未來?

當數據變得極為海量之后,自動化是個必行的策略,而且由于惡意代碼的“多態性”,如果防御方要擾亂攻擊者的攻擊鏈,需要比攻擊者更快,所以自動化也是必須的。但 GeekPwn Lab 總監王海兵,卻在《Geekpwn 黑客眼中的 AI 安全》議題中,闡述了從攻擊者的角度,與 AI 作對抗的方式。這個議題實際上和主論壇上加州大學伯克利分校宋曉東教授提到對于 AI 安全的擔憂是異曲同工的。

從黑客的常規角度出發,針對不同設備的攻破方法其實是差不多的。比如說騰訊科恩實驗室破解特斯拉,看似是個全新的領域,實際也就是針對其建基于 Linux 系統之上的固件作深入研究;再比如針對許多路由器的攻擊,找準的也不過是其中類似 web server 這樣的組成部分的漏洞。從這個角度來說,AI 并沒有多么神秘,它首先也需要運行在信息系統環境中。比如許多人臉識別算法,可以認為是深度學習的應用,而黑客繞過門禁的人臉識別,主要利用的是系統漏洞,而不是 AI 本身的問題。這本身就是 AI 應該考慮的問題。

再者,現如今的從業者開發人工智能也并不需要從頭進行,而是又現成的庫和框架可以用。比如計算機視覺庫 OpenCV,還有谷歌著名的 TensorFlow 框架,很多都已經發現相當數量的安全漏洞。

DSC_7849.jpg

最精彩的部分也就是算法被攻擊的情況了。比較經典的例子就是上面這張熊貓圖片,在經過攻擊者的精心干擾后,最終產生的所謂對抗樣本,以肉眼是很難看出差別的,但感染的偏差量被精心設計過,這張圖片就可以讓神經網絡對其作錯誤分類。去年 10 月份的極棒硅谷站,Ian Goodfellow 就發表過題為《Physical Adversarial Examples》的演講,當我們把一張鳥的圖片經過對抗干擾后,用打印機將其打印出來,然后再經由設備識別,居然仍然會將其識別成飛機。

DSC_7850.jpg

這項研究就與宋曉東參與的,交通標志被篡改后,可對自動駕駛汽車的識別系統產生惡意影響相關研究有關系。不過伊利諾伊大學香檳分校的研究卻認為,針對交通標志的對抗樣本,自動駕駛汽車對其識別,可能會因為距離和角度的關系而產生變化,比如在某個距離下識別,對抗樣本就不產生作用了;但不久,OpenAI 貼出了一只貓,即便隨觀察識別的距離和角度差異,這只貓由于經過了精心的干擾,所以絕大部分情況下還是會被識別為臺式電腦。

從上述三個層面,AI 存在的安全問題也是值得未來技術發展深究的。但實際上,我們到目前為止,也并沒有聽說哪家 AI 研究企業針對 AI 本身在安全方面下功夫。所以王海兵才說:

“很多搞 AI 的并沒有安全這根弦。”

這依舊應了開發和安全割裂的固有特點,只不過在這個場景下,開發正在為安全服務,但其自身的安全問題卻又一次被忽視了。這實際上還只陷入宋曉東所說針對 AI 攻擊的其中一部分(攻擊 AI 和濫用 AI 中的攻擊 AI。)

現如今應用機器學習的安全產品已經越來越多了,比如許多“下一代終端”產品,如 Cylance、CrowdStrike、SentinelOne 等等。不過滴滴 Labs 安全研究負責人藺毅翀認為單就機器學習模型迭代效率,實際上趕不上攻擊的速度,其迭代頻率至少仍以周為單位行進。所以機器學習、深度學習應用到類似離線學習這樣的場景,從既有數據中發現關聯和異常是有價值的。這也決定了就當下,機器學習可能仍然只能當作多維度中的一個維度來作安全,典型如風控,幾乎不可能單以人臉識別為方式,必然輔以用戶畫像和策略模型。

不過藺毅翀在演講最后說了一句話:AI 是否是安全這條路上正確的方式,不知道…

DSC_7824.jpg

騰訊云副總裁,騰訊社交網絡與騰訊云安全負責人 黎巍(中)

騰訊云副總裁,騰訊社交網絡與騰訊云安全負責人黎巍在接受媒體群訪時談到,騰訊云曾經遭遇過一個案例,某犯罪團伙進行驗證碼識別的方式已經不是雇人了,而是租用某云廠商的多臺主機,應用人工智能,對其進行識別。這一個案例就足以說明,攻擊者也已經相中人工智能在攻擊技術中的應用。上文提到那些研究人員設定的場景也從來不是隨意 YY 的。

AI 成功的標準是什么?

Elon Musk 早前提出過一個觀點,即人工智能未來可能會強大到足以支配人類,為了避免這一慘劇的發生,Musk 成立新公司 Neuralink 意圖將人腦和計算機作融合,他認為這是人類的唯一出路。他甚至還提到,“腦機界面”能進行人類意識的實時翻譯,將之轉化為可輸出的電子信號,從而可以連接甚至控制外部設備。但這個想法被人工智能與安全倫理分會場上的翟振明教授徹底否定。

中山大學人機互聯實驗室教授翟振明最早從北京鋼鐵學院畢業(用他自己的話說是煉鋼鐵的),隨后前往美國搞哲學研究成為哲學博士,后來開始深造 VR 和人工智能。現如今他有自己的 VR 實驗室,將物聯網和 VR 進行融合,形成所謂的 ER (擴展現實)。

DSC_7868.jpg

中山大學人機互聯實驗室教授 翟振明(他實際上是個哲學博士)

從他的闡述來看,在實驗室里戴上 VR 眼鏡,從眼鏡里看到的首先仍然是實驗室真實環境,但佩戴者并不清楚從何時開始,真正步入虛擬現實環境,便無從了解自己究竟在現實還是在虛擬現實中,因為期間的整個過程,佩戴者還與 IoT 設備發生了真實的交互,這很容易欺騙人類。

翟振明否認 Musk 的立足點首先在于,基于他和美國量子物理學家 Henry Stapp 的討論,我們現在所謂的人工智能,是不可能產生真正的自我意識的,或者說圖靈模型、馮諾依曼模型產生的 AI 都無法有自我意識。他提出一個有趣的思考:給人類戴上 VR 眼鏡,和給一臺機器戴上 VR 眼鏡,其判定差異究竟在哪里?不管是 AlphaGo,還是“阿爾法貓”,哪怕“卷積層 500 萬層”,VR 眼鏡后面的人工智能,都和人的自我意識有著本質差異。

DSC_7874.jpg

這張圖值得深思

這其中的核心在于,人類接受外部認知性信息,靠的是自然感官,而不是外來的控制信號,這是人類個體維系主體地位的基礎。如果開始給人腦直接灌輸控制信號,那么人的自我意識可能會無從談起,甚至人類的自我意識可能被徹底抹除,因為 Musk 的 Neuralink 意圖繞過人的自然感官去直接刺激腦中樞,這本身就是自我意識的坍塌,并最終導致人類的毀滅。

不過更有趣的,和主論壇上卡巴斯基實驗室安全專家 Vladimir Dashchenko 說的一樣,這種繞過方式,為攻擊者控制人類提供了更大的便利。而 ER (擴展現實)如果能夠大范圍取得成功,迷惑佩戴者究竟身處現實還是數字世界,其危害和 Musk 的腦機融合大約也是差不多的。回頭再看看機器佩戴 VR 眼鏡和人類佩戴 VR 眼鏡的差異,你能感覺出其中的鴻溝嗎?這扯得有點兒遠了,或者說未免過于超前,這里近作簡單分享,有興趣的同學可以自行搜索翟振明教授的研究(可搜 人機交互三原則)。

我們說了這么多 AI 的毛病和問題,以人工智能來助力安全卻依舊是主旋律,因為人工智能的確是有效的,即便還不是完全有效。就現階段來看,AI 在安全領域應用成功與否,微軟的邵江寧給出了總結:

可適應性(Adaptable)、可解釋(Explainable)、可行動(Actionable)

其中的可適應性,可列舉為可以適應惡意程序的新變種;可解釋則是說人類可以理解,不會是無法歸因和解釋的;可執行則要求提高響應速度。

成功的數據檢測需要離散的數據集和規則與安全專業知識的結合。最終 AI 應用成功與否在于速度(Real-time detection,實時檢測)、質量(Reduce false positives,減少誤報)和響應(Fast triage)。至少邵江寧說,微軟內部的 AI 研發都是以此為判斷標準的。

DSC_7722.jpg

然而我們依然未能從這些檢驗標準中看到,對 AI 本身安全性的規范,所以 AI 仍然充滿了各種不確定性。其有待解決的問題可能還非常多樣,比如中國信息安全認證中心體系與服務認證部主任張劍提到的大數據環境下的個人隱私保護——大部分國家針對大數據的指導文件,前期出臺的都只是以如何發展這種技術為方向,個人隱私似乎都是其次的問題。

可能人們在某種技術真正發展起來之前,關注的焦點都只在其究竟能實現什么,而不是它存在著多少問題,安全就是其中一環。黎巍和成杰峰在采訪中都說,黑產的確有可能利用人工智能,但我們先發地投入了研究,這就是優勢,在“壞人還沒有打造出矛之前,我們就要開發抵抗性很強的盾”。未知在攻擊者手中,AI 是否真能如此樂觀。

更多花絮:

DSC_7783.jpg

騰訊云宣布建立 DDoS 防護聯盟

DSC_7804.jpg

騰訊云安全技術總監 方勇談《公有云 DDoS 挑戰的應對之道》

DSC_7867.jpg

中山大學人機互聯實驗室教授 翟振明上臺就說早前他儲備了 700 個左右的比特幣,賣掉 300 個,又趕上 Mt. Gox 破產,損失了 100 個,300 個比特幣又在同一天被竊…

DSC_7705.jpg

分論壇的女主持

DSC_7885.jpg

智能硬件與物聯網安全分會場,又見看雪在奪取門鈴控制權

309809813.jpg

* FreeBuf 官方報道,作者:歐陽洋蔥,未經許可禁止轉載

這些評論亮了

發表評論

已有 10 條評論

取消
Loading...
css.php 江苏11选5网上购买