全部課程
hdfs的優(yōu)缺點(diǎn)
發(fā)布時(shí)間: 2023-01-30
HDFS的優(yōu)點(diǎn):
高容錯(cuò)性。提供了容錯(cuò)和恢復(fù)機(jī)制,副本丟失后,自動(dòng)恢復(fù)。
高可靠性。數(shù)據(jù)自動(dòng)保存多個(gè)副本,通過(guò)多副本提高可靠性。
適合大數(shù)據(jù)處理??梢蕴幚沓笪募?,比如 TB級(jí)甚至PB級(jí) 的文件。
適合批處理。移動(dòng)計(jì)算而非移動(dòng)數(shù)據(jù);數(shù)據(jù)位置暴露給計(jì)算框架。
支持流式數(shù)據(jù)訪問(wèn)。一次性寫(xiě)入,多次讀?。ㄒ粋€(gè)數(shù)據(jù)集一旦生成,就會(huì)被復(fù)制分發(fā)到不同的存儲(chǔ)節(jié)點(diǎn),各節(jié)點(diǎn)可以進(jìn)行讀取/訪問(wèn));保證數(shù)據(jù)一致性。
低成本運(yùn)行。可以運(yùn)行在低成本的硬件之上。
HDFS的缺點(diǎn):
不適合處理 低延遲 的數(shù)據(jù)訪問(wèn)。比如用戶 要求時(shí)間比較短 的低延遲應(yīng)用(主要處理高數(shù)據(jù)吞吐量的應(yīng)用)。
不適合處理 大量的小 文件。會(huì)造成尋址時(shí)間超過(guò)讀取時(shí)間;會(huì)占用NameNode大量?jī)?nèi)存,因?yàn)镹ameNode把文件系統(tǒng)的元數(shù)據(jù)存放在內(nèi)存中(文件系統(tǒng)的容量由NameNode的大小決定),小文件太多會(huì)消耗NameNode的內(nèi)存。
不適合 并發(fā)寫(xiě)入。一個(gè)文件只能有一個(gè)寫(xiě)入者,HDFS暫不支持多個(gè)用戶對(duì)同一個(gè)文件的寫(xiě)操作。
不適合 任意修改 文件。僅支持append(附加),不支持在文件的任意位置進(jìn)行修改。