廣州總校區(qū)切換校區(qū)
復(fù)制成功
微信號(hào):togogoi
添加微信好友, 詳細(xì)了解課程
已復(fù)制成功,如果自動(dòng)跳轉(zhuǎn)微信失敗,請(qǐng)前往微信添加好友
打開(kāi)微信
圖片

行業(yè)新聞

hdfs的優(yōu)缺點(diǎn)

發(fā)布時(shí)間: 2023-01-30

HDFS的優(yōu)點(diǎn):

高容錯(cuò)性。提供了容錯(cuò)和恢復(fù)機(jī)制,副本丟失后,自動(dòng)恢復(fù)。

高可靠性。數(shù)據(jù)自動(dòng)保存多個(gè)副本,通過(guò)多副本提高可靠性。

適合大數(shù)據(jù)處理??梢蕴幚沓笪募?,比如 TB級(jí)甚至PB級(jí) 的文件。

適合批處理。移動(dòng)計(jì)算而非移動(dòng)數(shù)據(jù);數(shù)據(jù)位置暴露給計(jì)算框架。

支持流式數(shù)據(jù)訪問(wèn)。一次性寫(xiě)入,多次讀?。ㄒ粋€(gè)數(shù)據(jù)集一旦生成,就會(huì)被復(fù)制分發(fā)到不同的存儲(chǔ)節(jié)點(diǎn),各節(jié)點(diǎn)可以進(jìn)行讀取/訪問(wèn));保證數(shù)據(jù)一致性。

低成本運(yùn)行。可以運(yùn)行在低成本的硬件之上。

HDFS的缺點(diǎn):

不適合處理 低延遲 的數(shù)據(jù)訪問(wèn)。比如用戶 要求時(shí)間比較短 的低延遲應(yīng)用(主要處理高數(shù)據(jù)吞吐量的應(yīng)用)。

不適合處理 大量的小 文件。會(huì)造成尋址時(shí)間超過(guò)讀取時(shí)間;會(huì)占用NameNode大量?jī)?nèi)存,因?yàn)镹ameNode把文件系統(tǒng)的元數(shù)據(jù)存放在內(nèi)存中(文件系統(tǒng)的容量由NameNode的大小決定),小文件太多會(huì)消耗NameNode的內(nèi)存。

不適合 并發(fā)寫(xiě)入。一個(gè)文件只能有一個(gè)寫(xiě)入者,HDFS暫不支持多個(gè)用戶對(duì)同一個(gè)文件的寫(xiě)操作。

不適合 任意修改 文件。僅支持append(附加),不支持在文件的任意位置進(jìn)行修改。

hdfs的優(yōu)缺點(diǎn)

上一篇: hdfs中block默認(rèn)保存幾份

下一篇: mysql如何將bin-log日志文件轉(zhuǎn)為sql文件

<
在線咨詢 ×

您好,請(qǐng)問(wèn)有什么可以幫您?我們將竭誠(chéng)提供最優(yōu)質(zhì)服務(wù)!