騰訊2021sigmod論文Spitfire分析
Spitfire:易失和非易失性內(nèi)存的三層buffer管理
Spitfire: A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory
機(jī)制
1、cache line page
將page分割成cache line大小,一個(gè)cache line為64字節(jié)。由于PM可以字節(jié)尋址,所以可以以cache line的粒度進(jìn)行讀寫page。頁頭結(jié)構(gòu)中有標(biāo)記哪個(gè)cache line為臟的位圖表,1表示臟。并且有resident字段位圖標(biāo)記哪個(gè)cache line加載到了內(nèi)存,若無加載,這部分在內(nèi)存中不占空間,節(jié)省內(nèi)存。
2、HYMEM
《managing nvm in database system》分三層架構(gòu)DRAM-NVM-SSD。
1)SSD上數(shù)據(jù)頁大小16kb,當(dāng)事務(wù)請求時(shí)加載到DRAM
2)使用時(shí)鐘算法替換DRAM中的數(shù)據(jù)頁,PM中使用同樣算法
3)判斷什么條件下降DRAM中數(shù)據(jù)頁持久化到PM?
4)采用一個(gè)準(zhǔn)入PM的隊(duì)列來協(xié)助是否將數(shù)據(jù)頁持久化到PM。
5)默認(rèn)的讀路徑:SSD->NVM->DRAM->CPU
6)默認(rèn)的寫路徑:CPU->DRAM->NVM->SSD
7)讀時(shí)首先看是否在DRAM,不在時(shí)看是否在NVM,都不在則需要將SSD上全頁直接加載到DRAM
8)DRAM替換數(shù)據(jù)頁時(shí),首先看他在沒在準(zhǔn)入隊(duì)列,若在則將其從隊(duì)列刪除,并持久化到PM;否則將其標(biāo)記到準(zhǔn)入隊(duì)列,將該頁直接持久化到SSD
9)優(yōu)點(diǎn):減少了PM寫,以及不同層級之間數(shù)據(jù)的移動(dòng)
缺點(diǎn):非并發(fā)操作,沒有在真實(shí)的PM環(huán)境上測試。
3、spitfire
使用概率的方法控制不同層級之間數(shù)據(jù)的遷移,實(shí)現(xiàn)冷熱數(shù)據(jù)分離。確保DRAM中是熱數(shù)據(jù),NVM中是溫?cái)?shù)據(jù),SSD中是冷數(shù)據(jù)。
1)Dr:讀時(shí),將NVM移動(dòng)到DRAM中的概率。比如0.01表示每讀取100次,才將NVM中數(shù)據(jù)頁遷移到DRAM
2)Dw:寫時(shí)需要輔助DRAM的概率
3)Nr:讀操作時(shí),將SSD遷移到NVM的概率
4)Nw:寫的過程中,buffer管理器將DRAM遷移到NVM的概率
5)數(shù)據(jù)遷移這些概率依賴于工作負(fù)載,自適應(yīng)調(diào)整。
6)通過對每層加一個(gè)latch,遷移時(shí)用到哪層,就對哪層加鎖,實(shí)現(xiàn)并發(fā)

發(fā)表評論
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個(gè)字
最新活動(dòng)更多
-
7月8日立即報(bào)名>> 【在線會議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身機(jī)器人動(dòng)力電池技術(shù)應(yīng)用大會
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會2025(第六屆)機(jī)器人及智能工廠展
-
免費(fèi)參會立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺語言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國跨境支付十大趨勢
- 5 中國最具實(shí)力AI公司TOP10
- 6 特斯拉Robotaxi上路,馬斯克端上畫了十年的餅
- 7 國家數(shù)據(jù)局局長劉烈宏調(diào)研格創(chuàng)東智
- 8 AI的夏天:第四范式VS云從科技VS地平線機(jī)器人
- 9 張勇等人退出阿里合伙人
- 10 深圳跑出40億超級隱形冠軍:賣機(jī)器人年入6.1億,港股上市