騰訊Angel平台

騰訊Angel是騰訊發布一款開源高性能分布式計算平台（tái），可以更加（jiā）高速精確的處理數據材料，其能力超過（guò）各類同行軟件，如果你有（yǒu）興趣，就來綠色資源網下載，學習源碼吧（ba）！

騰訊Angel官網介紹（shào）

騰訊Angel 1.0是騰訊數據平台部與香港科技大學合（hé）作、北京大（dà）學（xué）參與共同（tóng）開發的分（fèn）布式計算框架，它的主要設計目標是（shì）為了支持超大維度的機器學習模型運算。

高性能分布式計算平台Angel功能（néng）特色

【網絡優化】

Angel的網絡解決方案使用（yòng）的是香港科技大學的Chukonu。借助Chukonu，Angel可以通過網（wǎng）絡流量再分（fèn）配（pèi）的方式，解決半同步的運算（suàn）協調機製SSP中可能出現的快節點等待慢節點的問題（tí），減少了窗口空閑等待時間。

【整體架構】

Angel的整體架構參考了穀歌的DistBelief，這是一（yī）種最初（chū）為了深度學習而（ér）設計、使用了參數服（fú）務器來解決巨大模型在訓練時更新問題的（de）架構。參數服務器同樣可用於機器學習中非深度學習的模型，如SGD、ADMM、LBFGS的優化算法在（zài）麵臨在每輪迭代上億個參數更新的場景中，需要參數分布式緩存來拓展性能。

Angel 1.0軟（ruǎn）件優點

1.Angel的核心設計理念圍繞模型。它將高維度的大模型切分到多個參數服務器節點，並通過高（gāo）效的模型更新接口和運算（suàn）函數，以及（jí）靈活的同步協議，實現機器學習算法的高效運行

2.Angel基於Java和Scala開發（fā），能（néng）在社區的Yarn上直接（jiē）調度運行，並基於PS Service，支持Spark on Angel，未來將（jiāng）會支持（chí）圖計算和深度學習框架集成。

3.Angel采（cǎi）用的Parameter Sever架構相比其它類型的架構更適合解決巨大模型中的參數更新問題；實際運行中相比參數更新方麵有單點瓶頸的Spark平台，Angel能夠（gòu）取（qǔ）得成倍的性能優勢，而且模型越大優勢越明顯。

4.騰訊開（kāi）源（yuán）的Angel給頭疼於大規模機器學習模型計算（suàn）的業內人員提供了一個新選擇。發（fā）展自己技術、擴大自己（jǐ）的平台的同時，騰訊也承諾未（wèi）來的開源（yuán）力度隻會越來越大。

5.圍繞Angel，騰訊還建（jiàn）立了一個小生態圈，可以（yǐ）支持Spark之上的MLLib，支持上億的維度的訓練（liàn）；也支持更複雜的圖（tú）計算模型。

相關新聞

去年Angel發布時，騰（téng）訊平台部總經理、首席數據（jù）專（zhuān）家蔣（jiǎng）傑對騰訊（xùn）計算平台（tái）的（de）發展曆程做過介紹。2009到2011年的第一代平台主（zhǔ）要目標是規模化，形（xíng）成（chéng）了TDW（騰訊分布式數據倉庫）這樣的架構；2012到2014年第二代平台（tái）主要是實時化（huà），把大（dà）規模計算搬到平台上（shàng），支持了實時（shí）性（xìng）強、規（guī）模大的業務（wù）需求，但（dàn）是基於Spark的數據訓練（liàn）就遇到了超大維度時出現瓶頸的問題。

這樣，騰訊開始建設新的高性能計算（suàn）框架，要能支持超大規模（mó）數據集，能完成十億級別維度的訓練。這就是騰訊（xùn）的第三台計算平台Angel。圍繞（rào）Angel，騰訊還建立了一個小生態圈，可以支持Spark之（zhī）上的MLLib，支持上億的維度的訓練；也（yě）支持更複雜的圖計算模型。

也就是依靠Angel，騰訊獲得了2016年的Sort benchmark的排序的4項冠軍，用98.8秒時間完（wán）成了100T數據的排序，刷新了四項世界紀錄。2015年的這項排序時（shí）間還（hái）高達329秒。