企业是如何解决HDFS单点问题的?
前言
在早期Hadoop刚出来的时候是没有解决HDFS单点问题的,这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪,这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决Na企业meNode单点问题,接下来我们就来聊一聊。
解决HDFS单点问题解决方案 解决HDFS点单问题其实可以部署两个NameNode,但是真正对外服务只有一个,部署两个NameNode那他们之间的元数据信息是不是需是如要共享元数据信息呀,不然当其中一个NameNode挂掉了元数据信息没有同步不就会有问题。
根据appche提出的解决方案目前有三种解决方案如下
方案一、目录共享
目录共享是在appche社区中提出但是现在没有引用,目录何解共享也是一个单点问题,如果当目录共享挂掉了是不是也会导致HDFS挂掉。所以就被一些企业抛弃了。
方案二、使用JournalNode方案
我们使用JN来保存元数据信息就不会造成单点问题,JN也是一个集群,我们一般决H部署JN一般会选择基数例如3,5,7,9等。JN有一个政策只要存活的节点大于二分之一就是一个正常的服务。
注意:我们不要为了解决NameNode的单点问题选择的的组件也是单点问题,这个根本还是没有解决。
JN中的信息都DF是一样的,那为什么也是其中的一个NameNode就是写数据其中一个就是读取数据那?
其实NameNode也是有角色之分的写的为action读为standby,在高可用的架构中只有一个NameNode真正对外服务,S单 用户也只会对action的NameNode进行打交道,举个理解:假设我们在工作中有2个领导(平级的)我们去请假其中一个领导同意其中一个领导不同意那这个假到底修还是不修那?这不就乱套了吗?也就是在高可用架构中点问同一时间只有一个说的算。
方案三、使用zookeeper方案
其实企业中也有好多使用zookeeper来带代替了。我们来想一想JN解决了什么问题,不是就数据的一致性和单点故障我们在想想zookeepr是不是也有,于是题的企业中就把zookeeper的源码改了改就使用了这个方案。
总体架构
以上的解决方案是不是可以解决了NameNode单点问题,假设在凌晨的时候action的NameNode挂掉了是不是要进行切换我们是不是需要人工企业去切换。是不是切换不及时就到导致整个集群不可用。接下来我实现自动切换。
两个NameNode启动成功后都会去zookeeper注册自己zookeeper中会有一把锁那个NameNode注册成功了就是act是如ion当其他的NameNode在去注册是发现已经被注册了就变成了standby。
每个NameNode都部署了ZKFC 来监控NameNode的情况当action的NameNode发生故障时ActionZKF通过z何解ookeeper删除临时的zNode (释放锁)StandBy状态下的ZKF订阅了这个临时的zNode的变换,若zNode消失,StandBy状态的ZKFC立刻通过standby NameNode。Stand决HByNameNode远程登录actionNameNode执行kill-9 actionNameNode。StandByNameNode通知StandByZkfc去zookeeper上注册zNode,注册成功DF转换为action状态。这样就实现了自己转换
小结
上述给大家讲解了几种解决HDFS单点故障的问题,不知道大家吸收有多少,如果有不会的可以在下方留言或着私信我 我来给你解答。下期会分享NameNode内存受限该怎么解决S单。 我在这里为大家提供大数据的资料(企业面试题,简历模板等)需要的朋友可以去下面GitHub去下载,信自己,努力和汗水总会能得到回报的。
(责任编辑:快讯速览)
-
苹果2020Q4重回智能手机销量全球第一,但全年销售龙头仍是三星
原标题:苹果2020Q4重回智能手机销量全球第一,但全年销售龙头仍是三星 图片来源:unsplash 记者 | 伍洋宇 2月22日晚,调研机构Gartner发布报告,数据显示2020年第四季度苹果公司...[详细]
-
原标题:苹果没了光 从什么时候开始,苹果的新鲜感没了。琳琅满目的新品,却很难找到让你心动那个。 跟往年相比,今年的春季发布会迟到了近一个月。苹果公司一口气推出了多款产品,iPad Pro和AirTag...[详细]
-
有哪些很污的笑话?1、小张刚升任酒店副总,兴奋不己,深夜回家摸黑入房时,还激动地嚷道:“我是副总经理!”这时小张老婆在床上说:“上床吧,你下属小张就快回来了!”2、...免费洗车...got7成员的各...[详细]
-
云梦级3月13日云梦级消息,据中国新闻社报道,记者今天了解到,市场监管总局印发《关于强化广告中提示性用语监管工作的通知》(以下简称《通知》),部署对相关广告乱象开展为期半年的清理整治工作。 《通知》确...[详细]
-
新浪科技讯 北京时间5月25日早间消息,据报道,五月份,亿万富豪盖茨和妻子梅琳达宣布结束婚姻,而在几个星期之前,以两人名字命名的慈善基金会抛售了价值数亿美元的苹果和Twitter公司股票。 据悉,“比...[详细]
-
云梦级3月25日云梦级消息,据晚点Auto报道,智能驾驶解决方案供应商 Momenta 已向港交所秘密递交招股书。多位知情人士透露,Momenta IPO 估值预期超千亿元,正积极推动上市相关进程,计...[详细]
-
云梦级4月2日云梦级消息,智界汽车宣布郭锐出任董事长兼首席执行官,全面负责公司经营管理工作,即日起生效。 从公开资料获悉,郭锐毕业于北京大学信息科学技术学院,获理学博士学位,2017—2021 年曾担...[详细]
-
标签: 三星电子 HarmonyOS 小米SU7 NAND闪存
Hello,大家早上好,又是元气满满的一天,先来浏览新鲜的早报吧~ 【三星电子Q1 NAND 价格上调 100%】 受 AI 应用扩散影响,存储设备需求激增,三星电子一季度 NAND 闪存供货价格上调...[详细]
-
4月8日消息,腾讯云宣布云存储解决方案面向AIGC场景全面升级,能够针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。 据介绍,腾讯云AIGC云存储解决方案主要由对象存...[详细]
-
撰文 | 李信马 最近,物理AI(Physical AI)火了! 这个概念指的是具备理解和适应物理世界能力的AI系统,它超越了传统AI仅处理数字信息的局限,能够感知真实环境、理解物理规律,并能通过实体...[详细]
- https://www.whiterock2008.com.tw/search?q=谷歌霸屏程序【tg:seogoogle987】,92j
- https://www.msrenewal.com/search/谷歌霸屏程序【tg:seogoogle987】,yaQ
- https://www.navymwr.org/search/?query=谷歌霸屏程序【tg:seogoogle987】,fIf
- https://www.southmeadows.co.uk/2019/07/?s=谷歌霸屏程序【tg:seogoogle987】,1PE
- https://www.mdbg.net/chinese/dictionary?page=worddict&wdrst=0&wdqb=谷歌霸屏程序【tg:seogoogle987】,ubM
- https://www.le-trend.com/en/search/=谷歌霸屏程序【tg:seogoogle987】,Koz
- https://www.uckfieldtc.gov.uk/?s=谷歌霸屏程序【tg:seogoogle987】,lc7
- https://www.pinkpanda.ro/magazin/ingrijirea-tenului?page=87&q=谷歌霸屏程序【tg:seogoogle987】,QCg
- https://www.navylookout.com/?ID=nSBR6Ivdu6lZg1yr2SDs30Lo5sTs76yJ&s=谷歌霸屏程序【tg:seogoogle987】,ADR
- https://www.wuv.edu/?s=谷歌霸屏程序【tg:seogoogle987】,bfW

OpenAI新功能即将上线,Pro用户抢先体验
标签: 字节跳动 薪酬激励 人才投入 职级体系
标签: 中盐股份 IPO 中信建投 食用盐
云安全日报210830:IBM API管理集成解决方案发现执行任意代码漏洞,需要尽快升级
《幻兽帕鲁》卷爆云厂商 服务器价格低至26元/月
