人工智慧在網絡安全領域的應用

至頂網 發佈 2020-01-17T18:40:25+00:00

1956年,在由達特茅斯學院舉辦的一次會議上,計算機專家約翰·麥卡錫首次提出了「人工智慧」一詞,這也被人們看作是人工智慧正式誕生的標誌。

1956年,在由達特茅斯學院舉辦的一次會議上,計算機專家約翰·麥卡錫首次提出了「人工智慧」一詞,這也被人們看作是人工智慧正式誕生的標誌。此後的人工智慧發展歷程經歷了多次波折:

人工智慧的第一次高峰就是達特茅斯會議之後長達十幾年的時間裡,計算機被廣泛應用於數學和自然語言領域,用來解決代數、幾何和英語問題,有很多學者認為「20年內,機器將能完成人能做到的一切」。但很快人工智慧發展遇到了技術瓶頸:一是計算機性能不足,很多程序無法在人工智慧領域運行;二是用於深度學習的數據嚴重缺乏,無法支撐智能訓練;三是人工智慧程序處理複雜問題不堪重負。由於以上原因,上個世紀70年代人工智慧發展陷入低谷。

人工智慧的第二次高峰是以卡內基梅隆大學設計的一套名為XCON的「專家系統」為代表,這是一套具有完整專業知識和經驗的計算機智能系統。在這個時期,僅專家系統產業的價值就高達5億美元,衍生出了像Symbolics、Lisp Machines和IntelliCorp、Aion這樣的軟硬體公司。但到1987年時,蘋果和IBM公司生產的台式機性能都超過了Symbolics等廠商生產的通用計算機,從此,專家系統風光不再。

人工智慧再次崛起是以IBM的計算機系統「深藍」戰勝了西洋棋世界冠軍卡斯帕羅夫事件為代表,這是人工智慧發展的一個重要里程碑。而2016年AlphaGo戰勝圍棋冠軍李世石則把人工智慧推上了一個新的頂峰。在最近3年人工智慧則引發了一場商業革命,谷歌、微軟、百度等網際網路巨頭以及眾多的初創科技公司,紛紛加入人工智慧戰場,掀起一輪又一輪的智能化狂潮,人工智慧技術已經開始應用在各行各業,在網絡和安全領域的研究和應用也得到了各科技公司的重視,其應用價值開始浮現。

人工智慧在網絡領域的應用

人工智慧在網絡最重要的應用包括智能運維、網絡加速和網絡優化三部分。

1. 智能運維

智能運維目前是人工智慧發展最好、價值最高的應用,受到了各大公司的重視。傳統的運維方式在監控、問題發現、告警以及故障處理等各個環節均存在明顯不足,需要大量依賴人的經驗,工作效率低下,並且在數據採集、異常診斷分析、告警事件以及故障處理的效率等方面都有待提高,而人工智慧結合大數據分析技術,可以在智能監控、智能問題發現和預警、智能故障處理等方面最小化人為干預程度、降低人力成本以及提高運維管理效能。

1) 智能監控

隨著企業IT系統規模的擴大、運維環境的複雜化,使得運維人員從海量的數據中發現問題的難度也越來越大。智能運維可以通過智能異常檢測、故障關聯分析、故障根因分析和智能異常預測等能力,幫助運維人員快速定位問題、追溯故障根源,並實現故障的預測預警。以智能異常檢測為例,通過歷史數據模型的異常檢測等方法並結合AI技術,能夠自動、實時、準確地從監控數據中發現異常,為後續故障的分析與處理提供基礎。

2) 智能問題發現和預警

對故障進行根源分析是在眾多可能引起故障的因素中,追溯到導致故障發生的癥結所在,並找出根本性的解決方案。利用機器學習或者深度學習的方法可以找出不同因素之間的強相關關係,並利用這些關係,推斷出哪些因素是根本性的因素,幫助用戶快速診斷問題、提高故障的定位速度以及修復效率。

在告警方面,傳統的告警管理一般使用固定閾值並且需要運維人員手動設置,這種方式不僅工作量巨大且十分依賴運維人員的經驗,閾值設置不當可能導致告警風暴或者告警漏報等後果。當監控環境發生變化時,原先的固定閾值無法滿足告警管理的要求。而智能運維採用動態基線告警方式,智能分析數據的動態極限,彌補了以往人為設置固定閾值的缺陷,智能地分析數據的發展趨勢以及分析數據動態極限,從而對告警做出智能的判斷,也就有更大靈活性和適用性。

3) 智能故障處理

在智能故障處理方面,傳統運維管理中對故障的處理非常依賴運維人員的經驗,但人的經驗無法覆蓋所有故障範圍,運維人員經驗不足可能會使運維效率低下或者產生錯誤決策。智能運維將實時監測結果或者預測結果引入智能專家決策系統,智能生成決策建議,根據實際結果及趨勢判斷採用的處理策略,可以是人工處理或者自動處理,有效減少問題排查的時間、大幅提升問題解決的效率,提升企業運維的標準化程度。

2. 網絡加速

人工智慧在網絡加速最重要的應用是利用強化學習的思想,深度參與網絡協議擁塞控制算法,加速各個應用的傳輸速率,提高網絡的帶寬利用率和減小網絡時延,其典型應用是用強化學習改進TCP的網絡擁塞算法。TCP具有慢啟動、快恢復的特點,但是其快恢復是以擁塞窗口直接減半為代價,這就導致TCP傳輸帶寬是一個鋸齒形的形狀,傳輸帶寬不穩定。而強化學習則通過丟包預測自適應地調整擁塞窗口,使擁塞窗口穩定在一個較小的範圍內波動,從而保證了TCP傳輸的總帶寬和時延。國外有相關論文指出,跟傳統的TCP擁塞算法相比,基於強化學習的方法可以使傳輸的帶寬提高30%以上,端到端時延減小7%,圖1是測試效果圖。


圖1 基於強化學習和普通TCP擁塞算法測試對比圖

在圖1中,紅色是採用普通NewReno算法的測試效果,綠色則是採用強化學習的LP-TCP測試效果,從圖1中可以清楚看到,基於強化學習的TCP擁塞窗口非常穩定,這也是為什麼能提高網絡帶寬利用率的原因,同時因為擁塞窗口的穩定,設備的隊列深度也維持在一個穩定的水平,端到端時延也同時減少了。

3. 網絡優化

人工智慧在網絡優化上的應用主要是轉發路徑優化、資源優化和流量優化。傳統的ECMP算法一般是基於五元組原則進行Hash計算,在大象流都Hash到同一個路徑的情況下,很容易引起路徑流量的不對稱,起不到流量均衡的作用,而引入人工智慧技術,則可以考慮鏈路實時帶寬,動態計算每一個流的轉發路徑,從而保證在任何流量情況下均可以實現鏈路的流量均衡,避免了傳統Hash算法的不足。國外有一些學者和專家也在研究通過強化學習的方法來進行路由的計算,以替代傳統的路由協議(如OSPF)等。在資源優化方面,人工智慧在無線核心網資源分配、無線信道利用率、轉發晶片包緩存動態調整方面均有良好的表現,其可以有效提高資源的利用率,根據環境和壓力自動調節資源分配,以保證資源利用總是處於最佳的一個狀態。

人工智慧在安全的應用

人工智慧在安全領域的應用十分廣泛,並且有其獨特的價值和優勢,比如加密流量的威脅識別問題和APT(高級持續性威脅)識別問題,傳統的基於規則和特徵匹配的方法完全失效,必須依賴人工智慧的方法來加以甄別。同時,人工智慧在欺詐檢測、惡意軟體檢測、入侵檢測、網絡風險評分和用戶/機器行為分析等方面也有重要的應用價值,下面介紹人工智慧在安全領域的兩個典型應用。

1. 加密流量威脅檢測

目前網絡上50%以上是加密流量,加密是保護隱私的一個重要手段,能夠保護我們的數據不被窺探,但同時也讓不法分子有了可乘之機,加密能夠像隱藏其他信息一樣隱藏惡意軟體,從而帶來一系列安全問題。而傳統DPI(深度報文檢測)需要解密原始報文,這是不可能完成的任務。而人工智慧基於特徵提取和行為分析的方法,可以在不解密報文的情況下,提煉出惡意軟體的特性,從而識別出有害威脅。以HTTPS流量為例,通過提取TLS聯接的初始數據包信息、數據包長度和時間的順序、有效載荷上的字節分布等特徵數據,經過人工智慧模型推理,可以檢測出加密流量中的惡意流量,如圖2所示。

圖2 用人工智慧對提取的TLS聯接的數據包進行分析

2. APT防攻擊檢測

APT攻擊具有不同於傳統網絡攻擊的5個顯著特徵:針對性強、組織嚴密、持續時間長、高隱蔽性和間接攻擊,攻擊者能適應防禦者的入侵檢測能力,不斷更換和改進入侵方法,具有較強的隱藏能力,攻擊入口、途徑、時間都是不確定和不可預見的,使得基於特徵匹配的傳統檢測防禦技術很難有效檢測出攻擊,必須要引入新的檢測技術。人工智慧則可以在這方面發揮特有的優勢,通過特徵提取和行為分析、結合沙箱和大數據分析技術,準確判定C&C異常、Web異常、隱蔽通道、郵件和流量異常檢測等,可以有效識別並阻斷勒索病毒、海蓮花、震網、BlackEnergy、Google Aurora等APT攻擊。

此外,藉助於人工智慧增強學習的優勢,可以構建並完善一套主動式安全防禦系統。如今的網絡攻擊和病毒具有易變性的特點,被動防禦已經不能滿足當前網絡安全的要求,主動防禦成為趨勢和必須,藉助人工智慧的學習和進化能力,可以針對即將發生或者未知的攻擊行為,與安全策略和威脅情報有機結合,最終實現智慧型、主動型的安全防禦系統。

結束語

人工智慧作為一門當前最熱的技術之一,其在網絡和安全的應用和探索仍然還在進行當中,但網絡智能化和安全智能化的趨勢不可阻擋,人工智慧在其中也扮演著不可或缺的角色。當然,我們同時也要意識到人工智慧並非是萬能的,甚至發展到某些時候還可能帶來負面的效果。以安全為例,黑客和攻擊者也可以利用人工智慧技術來發動網絡和安全攻擊,AI與AI的對抗在不久的將來就會成為現實。「水能載舟,亦能覆舟」,人類怎樣利用好人工智慧技術仍然是一個值得探討和研究的課題。

關鍵字: