Storm详细配置-程序员宅基地

技术标签： storm 大数据

Apache Storm的详细配置涉及到多个方面，主要通过storm.yaml配置文件来完成。以下是一些关键的配置项及其作用：

Storm集群运行模式：

storm.cluster.mode：这个配置项决定了Storm集群是以分布式模式(distributed)还是本地模式(local)运行。在分布式模式下，Storm拓扑会在集群的多个工作节点上并行执行；而在本地模式下，所有组件都在单个节点上执行。

ZooKeeper服务器配置：

storm.zookeeper.servers：指定ZooKeeper服务器列表，Storm使用ZooKeeper来维护状态信息和分配任务。
storm.zookeeper.port：ZooKeeper服务器的连接端口。
storm.zookeeper.root：在ZooKeeper中Storm的根目录位置。

storm.local.dir：Storm使用的本地文件系统目录，这个目录必须存在并且Storm进程可以读写。

消息系统选择：

storm.local.mode.zmq：在本地模式下是否使用ZeroMQ作为消息系统。如果设置为false，则使用Java消息系统。默认为false。

超时设置：

topology.message.timeout.secs：消息在被认为失败之前可以被重试的最大秒数。
topology.executor.receive.buffer.size：Spout或Bolt接收缓冲区的大小。

线程和并发设置：

topology.worker.childopts：JVM选项，用于控制Storm worker进程的子进程（即执行具体计算任务的线程）的行为。
topology.executor.threads：每个executor（即Spout或Bolt实例）使用的线程数。

资源控制：

topology.executor.memory.mb：为每个executor分配的内存量，单位是MB。
topology.task.cpu.cores：为每个task分配的CPU核心数。

其他配置：

nimbus.host：Nimbus组件的主机名或IP地址。
nimbus.thrift.port：Nimbus Thrift服务的端口号。
supervisor.slots.ports：Supervisor监听的工作插槽端口范围。
supervisor.childopts：JVM选项，用于控制Storm supervisor进程的行为。

综上所述，这些配置项可以根据具体的应用场景和硬件环境进行调整，以优化Storm集群的性能和稳定性。在实际部署时，还需要考虑到集群规划、前置条件、环境搭建等步骤，确保集群的正确搭建和高效运行。

本文链接：https://blog.csdn.net/muxlong/article/details/137920150

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

【Unity3D游戏开发实战】Unity3D实现休闲类游戏《2048》——算法、源代码_unity小游戏2048源码-程序员宅基地

文章浏览阅读1w次，点赞29次，收藏133次。推荐阅读CSDN主页GitHub开源地址Unity3D插件分享简书地址我的个人博客QQ群：1040082875大家好，我是佛系工程师☆恬静的小魔龙☆，不定时更新Unity开发技巧，觉得有用记得一键三连哦。一、前言最近有粉丝要参加游戏创作大赛，问我需要准备学习什么知识，以及参加比赛的注意事项：参加这类比赛是非常有好处的，不仅提高了技术，也增长了见识。因为是兴趣驱动学习，在完善自己心爱游戏的过程中，要不断的去学习，不断的提高自己。更能在这个过程中找到志同道合的好朋友。那今天就._unity小游戏2048源码

【python】Open3D，Write PLY failed解决方法_write pcd failed: unable to generate header.-程序员宅基地

文章浏览阅读6.5k次。写了一个简单的函数，将三维点云（ndarray）保存为.ply文件：def save_points_as_ply(points, ply_path): """ 将点云保存为.ply文件，保存成功会打印'ply_path 已保存' :param points: ndarray, (-1,3) :param ply_path: str,'xxx/xxxx.ply' """ pcd = o3d.geometry.PointCloud() pcd.point_write pcd failed: unable to generate header.

详解 Android Views 元素的 layout_weight 属性-程序员宅基地

文章浏览阅读75次。所有View(视图)元素中都有一个XML属性android:layout_weight，其值为0，1，2，3...等整数值。使用了之后，其对应界面中的元素比例就会发生变化，变大或者变小。layout_weight属性其实就是一个元素重要度的属性，用于在线性布局中为不同的view元素设置不同的重要度。　　所有的视图都有一个layout_weight值，其默认值为0，表示视图多大就占据..._android view获取当前的layout_with 的值

hosts文件修改后无法保存问题_linux hosts文件无法保存-程序员宅基地

文章浏览阅读8.6k次，点赞11次，收藏14次。hosts文件在windows目录下的位置（我的是win10系统，其他系统大同小异）C:\Windows\system32\drivers\etc\hostslinux系统hosts位置/etc/hostsLinux系统一般来说linux系统出现无法修改的情况是比较少的，基本没有，只要你处于root权限下是都可以修改的，因为root默认是有rwx权限的如果不能修改，r..._linux hosts文件无法保存

Java中自定义异常的两个小例子_public int getlength(){return length}-程序员宅基地

文章浏览阅读962次。Java 异常处理异常是程序中的一些错误，但并不是所有的错误都是异常，并且错误有时候是可以避免的。比如说，你的代码少了一个分号，那么运行出来结果是提示是错误 java.lang.Error；如果你用System.out.println(11/0)，那么你是因为你用0做了除数，会抛出 java.lang.ArithmeticException 的异常。异常发生的原因有很多，通常包含以下几..._public int getlength(){return length}

解决:Ubuntu18环境Docker安装成功，但启动报错Unit docker.service is not loaded properly: Bad message_loaded: error (reason: bad message)-程序员宅基地

文章浏览阅读6.2k次，点赞2次，收藏4次。解决:Ubuntu18环境Docker安装成功，但启动报错Unit docker.service is not loaded properly: Bad message.文章目录解决:Ubuntu18环境Docker安装成功，但启动报错Unit docker.service is not loaded properly: Bad message.前言：微信交流群：分析解决方案使用存储库安装 Docker-ce**设置存储库****安装 Docker-ce****测试 Docker-ce****升级 Doc_loaded: error (reason: bad message)