2022年9月7日，在悉尼舉辦的國際數(shù)據(jù)庫與數(shù)據(jù)管理頂級會議VLDB 2022（International Conference on Very Large Databases，簡稱VLDB）上，北京大學(xué)計(jì)算機(jī)學(xué)院崔斌教授課題組的論文“基于分布式緩存的大規(guī)模可擴(kuò)展嵌入模型訓(xùn)練框架（HET: Scaling out Huge Embedding Model Training via Cache-enabled Distributed Framework）”獲得大會可擴(kuò)展數(shù)據(jù)科學(xué)最佳論文獎(jiǎng)（Best Scalable Data Science Paper）。
VLDB大會頒獎(jiǎng)典禮
VLDB是數(shù)據(jù)庫與數(shù)據(jù)管理領(lǐng)域的三個(gè)頂級會議之一，自1975年開辦至今，VLDB會議已經(jīng)成功舉辦了48屆，被中國計(jì)算機(jī)學(xué)會列為A類推薦國際學(xué)術(shù)會議。本次VLDB 2022會議的研究論文投稿分為Regular Research Papers（常規(guī)研究）、Scalable Data Science Papers （可擴(kuò)展數(shù)據(jù)科學(xué)）、Experiment, Analysis & Benchmark Papers（實(shí)驗(yàn)、分析和基準(zhǔn)）和Vision Papers四個(gè)類別，共收錄了198篇研究論文，評選出Regular Research、Experiment, Analysis and Benchmark、Scalable Data Science三篇最佳研究論文獎(jiǎng)。獲獎(jiǎng)?wù)撐腍ET在眾多論文中脫穎而出，并在大會開幕當(dāng)日進(jìn)行首個(gè)論文報(bào)告。
VLDB大會論文報(bào)告現(xiàn)場
稀疏嵌入大模型是目前參數(shù)量可以達(dá)到萬億規(guī)模的重要深度學(xué)習(xí)模型類型之一，被廣泛應(yīng)用于搜索廣告推薦、圖表示學(xué)習(xí)等場景，學(xué)習(xí)數(shù)據(jù)中的高維離散稀疏特征表達(dá)。現(xiàn)有分布式訓(xùn)練系統(tǒng)大部分采用參數(shù)服務(wù)器架構(gòu)，面臨著嚴(yán)峻的通信瓶頸。為了解決該問題，獲獎(jiǎng)?wù)撐奶岢隽艘惶谆谇度刖彺娴男乱淮∈璐竽Ｐ陀?xùn)練架構(gòu)HET。具體來說，論文利用稀疏大模型對嵌入?yún)?shù)的非均勻訪問特性，設(shè)計(jì)了一種支持嵌入?yún)?shù)緩存的混合通信架構(gòu)；同時(shí)，為了解決分布式緩存的一致性問題，設(shè)計(jì)了一種細(xì)粒度嵌入向量時(shí)鐘的有限異步協(xié)議。實(shí)驗(yàn)表明，HET可以降低88%的通信代價(jià)，訓(xùn)練速度可以提升20倍以上，支持萬億規(guī)模稀疏大模型的高效分布式訓(xùn)練。
獲獎(jiǎng)證書
本文第一作者為計(jì)算機(jī)學(xué)院2017級博士生苗旭鵬，通訊作者為崔斌教授和楊智副研究員，論文作者還包括2020級博士生張海林，2021級碩士生石屹寧，2019級博士生聶小楠，以及來自騰訊機(jī)器學(xué)習(xí)平臺部的陶陽宇。
目前，論文所提出的HET框架已經(jīng)集成到了課題組自研的分布式深度學(xué)習(xí)系統(tǒng)河圖（Hetu），并在GitHub開源：https://github.com/PKU-DAIR/Hetu。河圖主要應(yīng)用在云計(jì)算以及人工智能場景，可以提高深度學(xué)習(xí)模型訓(xùn)練效率，降低深度學(xué)習(xí)模型開發(fā)成本，推動(dòng)深度學(xué)技術(shù)創(chuàng)新以及 AI 產(chǎn)業(yè)的快速落地。河圖作為唯一高校代表成果入選了2021年AI中國年度十大開源事件，在中國計(jì)算機(jī)學(xué)會BDCI大賽等多個(gè)賽事取得最高獎(jiǎng)，并在包括騰訊等多個(gè)公司的實(shí)際業(yè)務(wù)場景得到應(yīng)用，取得顯著的經(jīng)濟(jì)效益。
崔斌教授VLDB大會特邀報(bào)告
近幾年來，崔斌教授課題組河圖團(tuán)隊(duì)圍繞大規(guī)模機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)系統(tǒng)優(yōu)化，展開了一系列系統(tǒng)性研究工作，相關(guān)成果已陸續(xù)發(fā)表于SIGMOD、VLDB、ICDE、ICML、KDD、TKDE等國際頂級會議和期刊，取得了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。此次獲獎(jiǎng)，表明北京大學(xué)在可擴(kuò)展數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)系統(tǒng)領(lǐng)域的研究水平持續(xù)處于國際前沿水平。另外，崔斌教授也在此次VLDB大會上進(jìn)行了題為“面向大模型的分布式機(jī)器學(xué)習(xí)（Distributed Machine Learning for Big Models）”的特邀報(bào)告，介紹了實(shí)驗(yàn)室在大模型訓(xùn)練方面的系統(tǒng)性進(jìn)展，受到了與會同行的一致好評。
想認(rèn)識全國各地的創(chuàng)業(yè)者、創(chuàng)業(yè)專家，快來加入“中國創(chuàng)業(yè)圈”
|
