如何通過YARN設(shè)計(jì)分布式資源動態(tài)調(diào)度協(xié)同分配系統(tǒng)
資料介紹
Storm on yarn是目前主流的分布式資源調(diào)度框架,但其存在需要人工干預(yù)和無法根據(jù)資源可用性實(shí)時調(diào)整系統(tǒng)資源的不足。根據(jù)流數(shù)據(jù)處理的實(shí)時延遲計(jì)算系統(tǒng)負(fù)載情況,在 Storm平臺上基于YARN設(shè)計(jì)分布式資源調(diào)度和協(xié)同分配系統(tǒng)。建立包含系統(tǒng)層和任務(wù)層的雙層調(diào)度模型,系統(tǒng)層通過對流數(shù)據(jù)處理負(fù)載的實(shí)時監(jiān)測進(jìn)行資源分配預(yù)測,任務(wù)層利用 Zookeeper和YARN對集群資源的高效管理能力進(jìn)行動態(tài)資源管理。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)可以實(shí)時調(diào)整集群資源分布,有效減小系統(tǒng)延遲。

- 一種分布式認(rèn)知無線電網(wǎng)絡(luò)資源分配算法 11次下載
- 電力物聯(lián)網(wǎng)下分布式的源網(wǎng)荷儲協(xié)同調(diào)度機(jī)制 14次下載
- 基于分布式數(shù)據(jù)Cache的實(shí)時動態(tài)遷移機(jī)制 20次下載
- 一種可行的分布式存儲系統(tǒng)安全構(gòu)造方法 21次下載
- 一種分布式網(wǎng)絡(luò)掃描架構(gòu)和任務(wù)調(diào)度算法 19次下載
- 分布式智能電網(wǎng)控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 2次下載
- 電力系統(tǒng)分布式經(jīng)濟(jì)調(diào)度 10次下載
- 分布式云管理協(xié)同平臺研究 6次下載
- 分布式系統(tǒng)進(jìn)程調(diào)度方法研究
- 基于分布式數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)分配模型研究
- 分布式系統(tǒng)動態(tài)負(fù)載分配算法研究
- 分布式Alamouti空時碼的信道容量及最優(yōu)資源分配方案
- 分布式并行BOD系統(tǒng)資源管理算法研究
- 基于Multi-Agent的分布式測控系統(tǒng)任務(wù)調(diào)度算法
- 基于OFDMA資源調(diào)度分配算法的研究
- 企業(yè)級HDFS高可用與YARN資源調(diào)度方案 624次閱讀
- 【節(jié)能學(xué)院】Acrel-1000DP分布式光伏監(jiān)控系統(tǒng)在奉賢平高食品 4.4MW 分布式光伏中應(yīng)用 3.4k次閱讀
- 一種完全分布式的點(diǎn)線協(xié)同視覺慣性導(dǎo)航系統(tǒng) 1.5k次閱讀
- Java手寫分布式鎖的實(shí)現(xiàn) 1.3k次閱讀
- tldb提供分布式鎖使用方法 1.7k次閱讀
- 深入理解redis分布式鎖 1.7k次閱讀
- 利用NI VeriStand 2010實(shí)現(xiàn)分布式同步系統(tǒng)的設(shè)計(jì) 4.1k次閱讀
- 分布式系統(tǒng)的特征和優(yōu)缺點(diǎn) 1.8w次閱讀
- PCB上的電源分配系統(tǒng)到底是什么 7.3k次閱讀
- 基于Jini互聯(lián)技術(shù)實(shí)現(xiàn)分布式嵌入式系統(tǒng)的設(shè)計(jì) 3.9k次閱讀
- 詳談分布式系統(tǒng)的定義及屬性 4.6k次閱讀
- 基于TMS320F2812 DSP實(shí)現(xiàn)三協(xié)同分布式控制系統(tǒng)的設(shè)計(jì) 1.5k次閱讀
- 基于多智能體一致性算法分布式協(xié)同的能源互聯(lián)網(wǎng)控制 8.5k次閱讀
- 深度解讀分布式存儲技術(shù)之分布式剪枝系統(tǒng) 2.2k次閱讀
- 基于CAN總線的分布式網(wǎng)架健康狀態(tài)監(jiān)測系統(tǒng)的設(shè)計(jì) 1.3k次閱讀
下載排行
本周
- 1冷柜-電氣控制系統(tǒng)講解
- 13.68 MB | 4次下載 | 10 積分
- 2安川A1000變頻器中文版說明書
- 20.16 MB | 3次下載 | 3 積分
- 3直流電路的組成和基本定律
- 1.67 MB | 2次下載 | 免費(fèi)
- 4丹佛斯2800系列變頻器說明書
- 8.00 MB | 1次下載 | 5 積分
- 5PC8011同步開關(guān)型降壓3.5A單節(jié)鋰電池充電管理電路技術(shù)手冊
- 0.74 MB | 1次下載 | 免費(fèi)
- 6ES7243E+ES8311音頻錄制與播放電路資料
- 0.06 MB | 1次下載 | 5 積分
- 7SDM02 激光測距模塊產(chǎn)品手冊
- 0.43 MB | 1次下載 | 免費(fèi)
- 8SDFM 激光測距模塊模組手冊
- 0.54 MB | 1次下載 | 免費(fèi)
本月
- 1CH341編程器軟件NeoProgrammer_2.2.0.10
- 20.47 MB | 170次下載 | 1 積分
- 22025智能家居傳感器市場分析及創(chuàng)新應(yīng)用
- 3.11 MB | 43次下載 | 免費(fèi)
- 3RV1126B系列開發(fā)板產(chǎn)品資料
- 4.19 MB | 18次下載 | 免費(fèi)
- 4CH341編程軟件下載
- 2.50 MB | 16次下載 | 5 積分
- 5全志系列-米爾基于T153核心板開發(fā)板 四核異構(gòu)、3路千兆網(wǎng),賦能多元化工業(yè)場景
- 3.05 MB | 12次下載 | 免費(fèi)
- 6【開源】60余套STM32單片機(jī)、嵌入式Linux、物聯(lián)網(wǎng)、人工智能項(xiàng)目案例及入門學(xué)習(xí)資源包
- 10.55 MB | 8次下載 | 免費(fèi)
- 7冷柜-電氣控制系統(tǒng)講解
- 13.68 MB | 4次下載 | 10 積分
- 8特斯拉MODEL S車載充電機(jī)主電路回路原理圖
- 0.81 MB | 4次下載 | 3 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935137次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計(jì)
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233094次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191448次下載 | 10 積分
- 5十天學(xué)會AVR單片機(jī)與C語言視頻教程 下載
- 158M | 183356次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81604次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費(fèi)下載
- 0.02 MB | 73824次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65991次下載 | 10 積分
電子發(fā)燒友App





創(chuàng)作
發(fā)文章
發(fā)帖
提問
發(fā)資料
發(fā)視頻
上傳資料賺積分
評論