【2023】hadoop基础介绍_hadoop参考文献2023-程序员宅基地

技术标签： python  数据分析  hadoop  分布式  大数据  

目录

Hadoop组成

hadoop安装教程可以看我这篇文章===> hadoop通过docker安装

  • HDFS组件：是Hadoop内的分布式存储组件，可以构建分布式文件系统用于数据存储。
  • MapReduce组件：MapReduce是Hadoop内分布式计算组件。提供编程接口供用户开发分布式计算程序。
  • YARN组件：YARN是Hadoop内分布式资源调度组件。可供用户整体调度大规模集群的资源使用。

HDFS

分布式存储：主从架构——架构角色

  • 主角色：Master（NameNode）
  • 从角色：Slave（DataNode）
  • 主角色的辅助角色：（SecondaryNameNode）
    • 处理合并edits为fsimage：会通过http从NameNode拉取数据（edits和fsimage），然后合并完成后提供给NameNode使用。

HDFS操作

  • HDFS文件系统基本信息

    操作命令添加协议头就会分别是对对应的系统执行，如果不带是会按照

    在这里插入图片描述

  • 操作命令

不同版本命令开头

# 老版本
hadoop fs 
# 新版本
hdfs dfs

在这里插入图片描述

命令使用在这里插入图片描述

  • 上传文件到hdfs文件系统中
# hdfs dfs -put linux路径 HDFS文件路径
hdfs dfs -put ./test2.test /

在这里插入图片描述

  • 下载HDFS文件到linux中
# hdfs dfs -get HDFS文件路径 linux路径
hdfs dfs -get /.test.txt /

在这里插入图片描述

  • 拷贝HDFS文件和移动
#拷贝文件
hdfs dfs -cp 源路径 粘贴路径

#移动文件
hdfs dfs -mv 源路径 粘贴路径

在这里插入图片描述

  • 追加数据到HDFS文件

    HDFS只能追加和删除，不能修改

htfs -dfs -appendToFile

在这里插入图片描述

  • 查看文件和删除文件
#查看文件内容
htfs -dfs -cat 文件
#删除文件和文件夹（删除文件不用加-r，删除文件夹需要加-r）
htfs dfs -rm -r 文件路径

删除文件看是否需要添加回收站

在这里插入图片描述

html查看文件

在这里插入图片描述

产品插件用于使用：Big Data Tools

在这里插入图片描述

配置插件

在这里插入图片描述

HDFS分布式文件存储

hdfs存储的管理单位是叫 block块

通过分布式的方式进行存储5，为了避免block块丢失，一般会进行冗余备份（通过添加副本块的方式备份），避免文件丢失

在这里插入图片描述

NameNode元数据

  • edits文件———流水帐文件

在这里插入图片描述

  • FSlmage文件———最终文件（保存最终结果）

在这里插入图片描述

  • 执行流程

在这里插入图片描述

数据读写流程

在进行读写时，会优先读写到网络距离最近的那台dataNode给客户端进行读写，实现读写的最优解。

  • 数据写入流程

在这里插入图片描述

在这里插入图片描述

  • 数据读取流程

    在这里插入图片描述

YARN和MapReduce

  • 分布式（数据）计算
    • 分散—>汇总模式
      1. 将数据分片，多台服务器负责一部分数据处理
      2. 然后将各种的数据进行汇总
    • 中心调度—>步骤执行模式
      1. 由一个节点作为中心调度管理者
      2. 将任务划分为几个具体步骤
      3. 管理者安排每个机器执行任务
      4. 最终得到结果数据

MapReduce：分布式计算

采用的是分散—>汇总模式进行分布式计算

提供了2个编程接口

  • Map：分散
  • Reduce：汇总

在这里插入图片描述

YARN：资源管控调度

将资源统一管控进行分配可以提供资源利用率

MapReduce和YARN的关系

  • YARN用来调度资源给MapReduce分配和管理运行资源
  • 所以,MapReduce需要YARN配合使用

YARN架构

YARN采用的也是主从架构

核心角色

  • ResourceManager：整个集群的资源调度者，负责协调调度各国程序所需要的资源。
  • NodeManager：单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用程序使用

辅助角色

  • ProxyServer：代理服务器
  • JobHistoryServer：历史服务器

在这里插入图片描述

YARN集群启动和停止命令（mapReduce无需启动任何进程）

#一键启动： 
$HADOOP_HOME/sbin/start-yarn.sh
#一键关闭
$HADOOP_HOME/sbin/stop-yarn.sh

#历史服务器启动和停止
mapred --daemon start｜stop historyserver

查看YARN的web页面通过8088端口

在这里插入图片描述

提交任务到YARN中运行

在这里插入图片描述
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52315708/article/details/135279405

智能推荐

手把手教你启用Win10的Linux子系统（超详细）_win10自带linux子系统怎么用-程序员宅基地

文章浏览阅读10w+次，点赞143次，收藏775次。今天为大家介绍如何才能启用Windows10下的Linux子系统，废话不多说，直接看步骤：启用开发者模式打开设置 点击更新和安全 点击开发者选项 启用开发人员模式 更改系统功能使用win+X快捷键调出系统管理菜单后点击应用和功能，然后拉到底下，选择程序和功能 选中应用或关闭Windows功能 勾选适用于Linux的Windows子系统，然后确认并重启..._win10自带linux子系统怎么用

SCI必备Latex编写工具(texlive+texstudio的安装及使用---超详细)-程序员宅基地

文章浏览阅读1.9w次，点赞46次，收藏113次。前言满纸荒唐言，一把辛酸泪。都云作者痴，谁解其中味？只有我的电脑知道为了安装Latex排版的工具花了多少功夫，查了多少资料。斗争之旅我的电脑上很早就有老师给的CTEX安装包，并且安装的时候还是百度了一下安装步骤，生怕到时候会有问题。结果等到我要开始写SCI论文的时候才发现，咦？ 这是啥错误undefined control sequence\begin{document}，改了路径啥的好多操作都不行，于是卸载，结果发现卸载都卸载不掉，文件都删除不了，后面我慢慢删也是删完了，后面还发现居然还修改_texlive

MATLAB 普通场景的道路点云分割 （方法一）（56）-程序员宅基地

文章浏览阅读169次。通过提取平面近点的方法，将道路点云和其他树木等点云分割开，具体的效果如下：（左）其他点云 （右）道路点云。

学姐给讲的分布式定时任务框架选型，爱了 ！-程序员宅基地

文章浏览阅读188次。1. 前言我们先思考下面几个业务场景的解决方案:支付系统每天凌晨1点跑批，进行一天清算，每月1号进行上个月清算电商整点抢购，商品价格8点整开始优惠12306购票系统，超过30分钟没有成功支付订单的，进行回收处理商品成功发货后，需要向客户发送短信提醒“类似的业务场景非常多，我们怎么解决？”很多业务场景需要我们某一特定的时刻去做某件任务，定时任务解决的就是这种业务场景。一般来说，系统可以使用消息传递代..._定时任务中间件选择

Linux 驱动开发基础知识——编写LED驱动程序（三）_linux驱动怎么写-程序员宅基地

文章浏览阅读6.2k次，点赞43次，收藏29次。我们基于 Hello 驱动程序先写出最简单的 LED 驱动程序_linux驱动怎么写

RabbitMQ学习文档（环境安装篇）-程序员宅基地

文章浏览阅读270次。RabbitMQ学习文档_mq学习文档

随便推点

h265硬解码和软解码_h265能通过gpu解码-程序员宅基地

文章浏览阅读2k次。h.265解码库，支持GPU和CPU1.初始化PlayerSDK_Init(CallBack callBackFunc,int nType);callBackFunc 回调函数nType 视频解码方式 CPU解码或者GPU解码2.播放接口PlayerSDK_Play(char* URL, long hWnd, int nType);URL 播放地址hWnd 播放句柄nType 播放类型接口返回播放句柄号3.停止播放接口Play_h265能通过gpu解码

stable diffusion(1): webui的本地部署(windows)_sd webui torch版本-程序员宅基地

文章浏览阅读2.1k次。有一个坑一直没过去，就是如果整体环境没完全装好，但是使用我自己提前创建的python虚拟环境来启动SD启动脚本stable-diffusion-webui/webui-user.bat，期间会因为某些原因（比如没梯子东西下载不下来）启动失败，但是第二次启动时就会报没有pip模块的错误，我就只能重新创建python虚拟环境，再装一遍包，这个过程很漫长很浪费时间，所以一定跟着我的脚步，一步不要落下的走，心急吃不了热豆腐。如果没有梯子，这里很慢或者根本过不去，所以参考。三、修改url地址（梯子强可不改）_sd webui torch版本

CTFSHOW做题记录_ctfshow 龙猫-程序员宅基地

文章浏览阅读491次。CTFSHOW做题记录**CTFSHOW做题记录1**（菜菜的我要写日记啦，欢迎大佬指导）**密码学签到1给出“}wohs.ftc{galf”并且提示倒叙。**解题思路：没看提示的时候乍一看以为是栅栏密码，还想着用在线解密去做，但是定睛一看不对劲，再看题目原来就是倒叙。只需要反着来就好啦。**答案：flag{ctf.show}**今天也是元气满满的一天，好好学习。..._ctfshow 龙猫

抓取动态网页的数据的具体操作方法_动态加载的网页怎么获取链接-程序员宅基地

文章浏览阅读1.9k次。不同的方法适用于不同的情况，例如如果目标网站使用的是JavaScript动态加载数据，那么使用Scrapy-Splash可能会更加适合。如果目标网站的数据比较简单，那么使用浏览器开发者工具可能会更加方便。如果需要模拟用户的操作，那么使用Selenium可能是更好的选择。总之，需要根据具体情况选择合适的方法，才能高效地获取动态网页的数据。综上所述，选择合适的方法取决于具体的需求。如果需要模拟用户的操作，可以使用Selenium。动态网页是指在用户交互过程中，网页内容不断更新和变化的网页。_动态加载的网页怎么获取链接

Ubuntu20.04安装向日葵_ubuntu20.04 安装向日库-程序员宅基地

文章浏览阅读1k次，点赞3次，收藏6次。下载最新版本：https://sunlogin.oray.com/download/缺少部分依赖，手动下载：# 你知道最新的版本号了sudo wget http://download.oray.com/sunlogin/linux/SunloginClient-10.0.2.24779_amd64.debsudo wget http://mirrors.aliyun.com/ubuntu/pool/main/i/icu/libicu60_60.2-3ubuntu3_amd64.debsudo w_ubuntu20.04 安装向日库

JMeter之脚本录制_jmeter脚本录制，大厂软件测试高级多套面试专题整理集合-程序员宅基地

文章浏览阅读635次，点赞14次，收藏7次。打开IE浏览器，点击右上方工具按钮，依次选择“Internet选项” -> “连接” -> “局域网设置” -> “代理服务器”，勾选“为LAN使用代理服务器”，输入本地IP地址127.0.0.1及端口号8888，点击确定保存。若页面提示“此网站的安全证书存在问题”，点击“继续浏览此网站(不推荐) ”即可。4.选择“Requests Filtering”，在“包含模式”中填入“.+(baidu.com).+”用以过滤非。选中“工作台”，右键选择“添加” -> “非测试元件” -> “HTTP代理服务器”

推荐文章

热门文章

相关标签