十六位頂尖專家齊聚,解密阿里雲最新核心技術競爭力

csdn 發佈 2020-05-08T02:48:12+00:00

神龍發展到了今天,已經進入了神龍架構 3.0 時代,貫穿整個 IaaS 計算平台,全面支持 ECS 虛擬機、裸金屬、雲原生容器等,用戶基於此也能在雲上獲得物理機 100% 的計算能力。

自帶革命屬性的阿里雲,上攀險峰下闖深海行至今日,據國際研究機構 Gartner 發布的最新雲計算市場追蹤數據顯示,阿里雲亞太市場排名第一,市場份額從 26% 上漲至 28%,接近亞馬遜和微軟總和;全球市場排名第三,市場份額增速最快,從 2018 年的 7.7%,上漲至 9.1%,進一步拉開與第四名谷歌差距,擠壓亞馬遜份額。

在「夢想永在凌雲意意氣風發,代碼成就萬世基積沙鎮海」的背後,須臾 11 年,行走於荊棘之間的程式設計師們為阿里雲共建了哪些技術高牆,鑄就了當下的核心競爭力?今天我們不妨來看看。

阿里雲的核心競爭力

作為阿里雲的一條主路線及核心所在,飛天(Apsara)開啟了一代技術人的探索之路。

就飛天系統自身而言,它有著自主可控、強大的調度能力、數據能力、安全能力,是一個雲計算作業系統。在其架構上:

  • 底層的數據中心、物理資源等提供了強有力的基礎設施支撐;

  • 中間有著物理層管控之天基、先進的計算平台架構之神龍、存儲之盤古、虛擬網絡系統之洛神「坐陣」,帶來了計算、存儲、資料庫、網絡等核心服務;

  • 除此之外,阿里雲還構建了面向用戶的系統服務以及原生服務,支撐不同行業客戶在阿里雲上構建自己的應用系統。

在這其中,飛天的內核之四大「神仙」亦是飛天的關鍵所在:

天基——物理資源的抽象和管理

據阿里雲介紹,天基是一套自動化數據中心管理系統,管理數據中心中的硬體生命周期與各類靜態資源(程序、配置、作業系統鏡像、數據等)。在飛天雲作業系統之上,天基系統保證了近百萬台伺服器的基礎軟體,固件快速安全自動大規模部署和升級。

神龍——雲原生計算架構

阿里雲神龍的誕生,打破了傳統物理機與虛擬機之間的隔閡,成為裸金屬虛擬化的先行者。神龍發展到了今天,已經進入了神龍架構 3.0 時代,貫穿整個 IaaS 計算平台,全面支持 ECS 虛擬機、裸金屬、雲原生容器等,用戶基於此也能在雲上獲得物理機 100% 的計算能力。

盤古——存儲平台

隨飛天系統而生的盤古,主要擔任分布式存儲系統的角色,而曾於 2009 年在阿里雲成立之初,工程師們寫下的第一行代碼也正是盤古的代碼。基於盤古,阿里雲有諸多的存儲業務,如塊存儲、文件存儲、對象存儲等。

2018 年,阿里雲推出了盤古 2.0 版本,引進分布式原數據管理,使得該存儲系統可以輕鬆支持萬億級別文件,也可以輕鬆支持大量的小文件實現第一分布式原數據管理。同時實現更好的彈性部署,形成巨大的存儲池,將不同存儲介質、不同的情形組合在一塊,形成一千 PB、也就是億 B 級別的存儲容量出來。

洛神——雲網絡平台

2018 年,阿里雲首次向外界揭開洛神的神秘面紗,它是阿里雲飛天作業系統內核的核心組件和系統服務。歷經十年,洛神雲網絡平台從洛神 1.0 的超大規模、多租戶網絡全面升級至具備高性能、彈性開放網絡等特性的洛神 2.0。

如今,隨著時間的推移,阿里雲在飛天作業系統之上已衍生了一系列自研軟硬體產品技術,如:

MaxCompute——大數據計算平台

MaxCompute 是阿里經濟體的通用計算平台,承載了阿里集團 99% 的數據存儲以及 95% 的計算能力。每天有幾萬名阿里巴巴內部的開發者會在這個平台上進行開發。MaxCompute 在 2019年的雙 11 中,單日處理數據量超過 970PB,是阿里經濟體真正意義上的經過實踐檢驗的大數據計算平台。

PAI——機器學習平台

機器學習 PAI 產品家族,覆蓋了機器學習的數據處理、建模、訓練、模型優化、在線預測的全產品線。客戶既可以搭建完整的個性化推薦系統,讓 CTR 提高 10%+;也可以使用 Blade 進行深度學習模型進行優化,節省 GPU 消耗50%。PAI 的完整性和靈活性,可以讓每個企業和開發者更加方便地使用機器學習技術。

PolarDB——雲原生資料庫

PolarDB 是阿里巴巴自主研發的下一代關係型分布式雲原生資料庫,目前完全兼容 MySQL、PostgreSQL,高度兼容 Oracle 語法。計算能力最高可擴展至 1000 核以上,存儲容量最高可達 100T;經歷雙 11 大考,PolarDB-X 處理峰值達到 8700 萬次/秒;PolarDB 重磅發布 Oracle 版,支持傳統資料庫一鍵遷移上雲;如今 POLARDB MySQL 8.0 正式上線商用,原生支持並行查詢,特定場景下(TPC-H測試)性能提升十倍。2019 年,天貓雙十二購物節,海外電商 Presto Mall 成功從 Oracle 遷移到 PolarDB,打響海外 Oracle 遷移戰役的第一彈。

雲原生數據倉庫 AnalyticDB

AnalyticDB 是雲原生數據倉庫領導者。基於 MPP 架構,擴展能力強,擺脫Oracle 等傳統企業數倉單機處理瓶頸。支持 SQL 2003、兼容MySQL、PostgreSQL 語法、部分兼容 Oracle 語法和支持 PL/SQL 存儲過程,觸發器,支持標準資料庫事務;通過行存儲、列存儲、多種分區表和索引等機制,可以支持 PB 級數據的在線交互式分析,支持 ETL 批處理任務;相比離線數倉方案,數據延時從天級別縮短至秒級,數據實時性高。

AnalyticDB 獲得中國信通院大數據產品評測雙料認證,在 TPC-DS 100TB 測試中名列榜首,完成了 640 節點的分布式分析型資料庫性能測試。AnalyticDB 發布 6.0 版本,完全兼容開源 Greenplum 6.0 版,存儲內核從 PostgreSQL 8.3 升級到 PostgreSQL 9.4 ,事務能力至少提升 60 倍,支持 JsonB 等非結構化數據的存儲和分析等。

IoT Platform——物聯網平台

阿里巴巴經濟體統一的IoT設備接入和管理平台,對內服務於新零售、智慧物流、天貓精靈大生態、工業網際網路、智慧城市等多種場景,抽象和沉澱近千款物模型,為萬物智聯做了充足的基礎設施建設和應用實踐。在基礎的連接之上,集成阿里雲多項能力,圍繞著AIoT場景提供了數據、應用、邊緣計算、AI等服務。物聯網平台於2017年正式商業化,目前已經是國內領先的AIoT基礎服務平台。

雲安全——打造數字經濟基礎設施安全底座

自阿里雲成立第一天起,安全就是頭等大事。經過10年的積累,阿里雲在為國家重大活動以及天貓、淘寶、支付寶的護航過程中沉澱了強大的安全工程化能力和大項目護航能力,為雲上企業建立了基礎安全、數據安全、業務安全等一系列安全產品和解決方案,讓外部攻擊無所遁形,為客戶專注於發展自身業務創造有利條件。

阿里云云原生

早在 2011年,阿里巴巴就率先開始了容器化進程,開啟了中國公司將雲原生技術體系在電商、金融、製造等領域中大規模應用的先河,業已成為中國企業雲原生道路的「引路人。歷經9年技術沉澱,阿里云云原生擁有國內最豐富的雲原生產品家族,覆蓋八大類別 20 餘款產品,涵蓋底層基礎設施、數據智能、分布式應用等,可以滿足不同行業場景的需求;是國內雲原生最全面的開源貢獻者,涵蓋編排調度、作業管理、無伺服器框架等。除了支持集團內部應用規模化運維,阿里云云原生技術還向全社會輸出。阿里雲 ACK(容器服務)遍布全球 18 個 region,擁有國內最大公共雲容器集群以及客戶群體。

基於以上,阿里巴巴也於去年宣布,整個阿里巴巴經濟體業務,核心系統已 100% 跑在阿里雲公共雲上,飛天雲作業系統也成功扛住天貓雙 11 的全球最大規模的流量洪峰。對於業界而言,這也意味著阿里雲已經具備應對各種商業的雲技術挑戰。

下一步,在全球全面雲化的時代下,阿里雲基於飛天 OS 與神龍的「神話」仍在續寫,業界又該如何基於已有的技術及服務汲取經驗,加快企業自身的轉型與變革?

16 位專家齊聚一堂解密雲上的最佳實踐

日前,CSDN 聯合阿里雲帶來《阿里雲核心技術競爭力》系列在線峰會。

在上一期在線峰會中,我們邀請到了阿里雲、達摩院的頂尖存儲、網絡、安全、物聯網等領域的專家們,與大家一起探討最新的企業 IT 技術趨勢與演變。

直播回顧:https://edu.csdn.net/course/detail/28249

時下,我們將聚焦於智能化轉型最具實踐的應用層面,並邀請到了阿里雲最前線的資深、高級技術專家們,為我們帶來雲時代下,彈性計算、虛擬化、安全等方面的研發經驗分享。

線上直播,一鍵連接

掃描下方二維碼,提前搶位!

會議形式

  • 在線直播

會議時間

  • 5 月 13 日 13:00——18:00

  • 5 月 14 日 13:00——18:20

日程

演講嘉賓

陳緒,阿里雲智能技術戰略總監

陳緒

陳緒,阿里雲智能技術戰略總監、布道師計劃負責人,中國開源軟體推進聯盟常務副秘書長。從事開源軟體工作超20年,對雲計算產業有較深刻理解。過往經歷主要涵蓋開源社區、市場合作、戰略規劃、投資分析等。曾任Sun中國工程院工程師,北京泰宇科技技術總監,英特爾中國雲計算戰略總監等職。師從中國科學院高慶獅院士,2003年畢業於北京科技大學信息工程學院,獲工科博士學位。2012-2014年在清華大學經管學院學習,獲EMBA學位。

宗志剛,阿里雲智能資深技術專家

宗志剛

宗志剛,阿里雲智能資深技術專家。虛擬化正在改變整個IT領域,網絡功能虛擬化(NFV)幫助企業IT建設突破傳統物理設備限制,響應新業務快速開發需求。本次分享介紹阿里雲網絡洛神新一代NFV平台,提供雲上超大規模網絡轉發和管控能力,極大提升彈性、開放性、可靠性,實現橫向擴展和靈活敏捷部署,同時面向未來提供智能化的資源管理能力。

陸傳勝,阿里雲智能高級技術專家

陸傳勝

陸傳勝,阿里雲智能高級技術專家,阿里雲編譯器部門Java內存管理團隊負責人。先後在IBM、阿里巴巴從事JDK軟體研發工作,對Java內存管理、性能優化和問題診斷有深入研究和豐富經驗。多次參加國內外Java相關會議並發表主題演講,是開源項目Alibaba Dragonwell JDK的maintainer、OpenJDK committer。

何萬青,阿里雲智能資深技術專家

何萬青

何萬青,阿里雲智能資深技術專家,阿里雲高性能計算產品研發負責人,從2005年起筏如創建並領導了英特爾中國高性能計算優化團隊,專注於高性能計算性能優化、異構計算和並行文件系統Lustre的研發和工程支持,他也是天河2號超級計算機核心研發者之一,負責異構加速部件的研發和工程支持。2017年初加入阿里雲帶領HPC團隊研發EHPC/SCC產品實現HPCaaS實現雲上超算服務。作為高性能專委會的創始成員和常委,十多年來在不同崗位始終專注於高性能計算,在HPC業界具備廣泛影響力,支持的客戶遍及石油勘探、氣候氣象、生命科學、天體物理、影視渲染、製造業仿真、網際網路搜索和教育科研等行業。

楊敬宇,阿里雲智能資深技術專家

楊敬宇

楊敬宇,阿里雲智能資深技術專家。阿里雲智能資深技術專家,邊緣計算行業領袖,15年來一直專注於分布式計算及網絡的研究及實踐,致力於網際網路大規模碎片化計算存儲網絡等資源的整合和利用,以及雲邊端協同方面技術研究及產品探索。目前負責在全球範圍內規劃多層次的邊緣基礎設施,以及邊緣雲計算平台的研發和實施。

周新宇,阿里雲智能技術專家

周新宇

周新宇,阿里雲智能技術專家,Apache RocketMQ PMC/Committer,在消息和雲原生領域有多年的研發經驗,目前在阿里雲消息中間件團隊從事RocketMQ產品的研發工作。

尚紅林,阿里雲安全資深產品專家

尚紅林

尚紅林,阿里雲安全資深產品專家。20年大企業服務經驗。身份認證即服務 IDaaS 國內最早的推動者和實踐者。2015年創辦九州雲騰, 帶領公司從0到1, 設計技術架構,推動解決方案,業績連續4年翻倍增長到數千萬收入。2019年併購進入阿里雲, 主推基於IDaaS 的零信任解決方案, 用業務風控的能力來解決辦公安全,實現從1-10的增長目標。

周劍,阿里雲資深技術專家

周劍

周劍,阿里雲資深技術專家,在阿里巴巴工作多年,先後在電商、企業能力建設、雲計算領域深度實踐,目前專注於OpenAPI平台建設。

蔡俊傑,阿里雲彈性計算首席架構師

蔡俊傑

蔡俊傑,阿里雲彈性計算首席架構師。沉迷雲計算領域10多年,足跡遍布PaaS、SaaS和IaaS,曾擔任IBM的Bluemix PaaS應用平台和華為的SaaS平台的架構師,目前負責阿里雲彈性計算產品的架構工作,聚焦在打造更穩定、彈性、高性能、普惠和智能的基礎計算產品。他同時也是一名開源老將,Apache基金會會員,雲原生計算基金會理事,著有《開源軟體之道》一書。

丁虎平,達摩院自動駕駛實驗室高級技術專家

丁虎平

丁虎平,達摩院自動駕駛實驗室高級技術專家。加入阿里巴巴之前,在華為新加坡研究所從事晶片架構設計的工作。當前在達摩院主要負責自動駕駛計算平台的工作,包括嵌入式異構計算平台的軟硬體設計,ISP處理器設計,以及FPGA邏輯設計等。

李永,阿里雲機器學習平台資深技術專家

李永

李永,阿里雲機器學習平台資深技術專家。長期從事機器學習平台/深度學習引擎相關的研發工作,具有豐富的相關領域經驗,目前是PAI的大規模分布式訓練框架的技術負責人。

王正恆,阿里雲資料庫高級技術專家

王正恆

王正恆,阿里雲資料庫高級技術專家。目前負責阿里雲企業級雲原生內存資料庫Tair和雲原生圖資料庫GDB的基礎技術研究。

張乎興,阿里雲智能高級技術專家

張乎興

張乎興,阿里雲智能高級技術專家。Apache Software Foundation Member, Apache Tomcat PMC 成員,2018 年作為 Apache Dubbo(incubator)創始成員及 PMC,帶領 Dubbo 加入 Apache 孵化器並畢業成為頂級項目。

徐立,阿里雲資深技術專家

徐立

徐立,阿里雲資深技術專家,阿里雲文件存儲負責人,擁有十年的阿里雲飛天分布式存儲系統的架構和研發經驗。

楊軍,阿里巴巴計算平台資深算法專家

楊軍

楊軍,阿里巴巴計算平台資深算法專家。目前主要負責模型系統聯合優化相關工作,是PAI在線推理優化技術負責人,他對於結合AI模型作業特點分析,從模型系統聯合視角進行co-design優化的技術方向有著比較濃厚的興趣。

湯志敏,阿里云云原生應用平台高級技術專家

湯志敏

湯志敏,阿里云云原生應用平台高級技術專家。2008 年加入阿里巴巴,先後在 B2B、螞蟻金服、阿里集團內部從事基礎設施、中間件研發等領域工作。目前在阿里云云原生應用平台負責容器化、Serverless 化等的研發工作。

報名參會

聽大牛真知灼見

與大牛在線溝通

答疑解惑

微信掃描,加入《CSDN在線峰會系列-阿里雲專場》交流群,

群滿請加微信csdnai3,回覆:公開課,入群抽獎,獲取乾貨資料

關鍵字: