背景这里用的是spark3.2.1他是基于内存计算的。Spark Standalone:依赖javaSpark Standalone 是 Spark 原生集群模式无需依赖第三方资源管理器包含 Master 节点管理集群资源、Worker 节点执行任务部署简单适合中小规模数据处理场景。javaetc/prfoile的配置export JAVA_HOME/usr/local/java/jdk8.0.19/TencentKona-8.0.19-422export PATH$PATH:${JAVA_HOME}/bin架构通常测试1个mastern个worker1个historyserverMasterSpark Standalone 的主控节点负责管理集群 Worker 节点、接收应用提交、分配资源和调度任务保障集群资源的统一管控与任务分发。spark-ui端口是8080WorkerSpark Standalone 的工作节点接收 Master 分配的资源调度启动 Executor 执行 Task汇报节点资源使用状态是实际承载数据计算的核心节点work的目录在spark/work/里面有driver和workdriver是随机分配的收集节点。收集其他executer的执行信息History ServerSpark 历史服务读取spark.eventLog.dir存储的事件日志提供已结束应用的 UI 访问可查看历史 Job/Stage/Task 详情定位运行问题。/tmp/spark-event是他的日志存储需要hdfs才能凑齐其他数据的本地磁盘的话得scp到对应的那台节点executor是最小执行单元能够执行任务一个sparksql对应一个jobjob会把他的任务分成多个executor去执行。job也可以并发多个一般建议5~10如何查看日志进入spark点击driver然后就能看到是哪台节点就可以去看日志了。如果是启动问题那就看logs具体的任务要看work。cat xx |grep -C 5 搜索内容这种可以看搜索内容的上下5行ll -t 按修改时间从新到旧排序降序ll -l -t 长格式展示
spark介绍
发布时间：2026/7/10 7:31:38
背景这里用的是spark3.2.1他是基于内存计算的。Spark Standalone:依赖javaSpark Standalone 是 Spark 原生集群模式无需依赖第三方资源管理器包含 Master 节点管理集群资源、Worker 节点执行任务部署简单适合中小规模数据处理场景。javaetc/prfoile的配置export JAVA_HOME/usr/local/java/jdk8.0.19/TencentKona-8.0.19-422export PATH$PATH:${JAVA_HOME}/bin架构通常测试1个mastern个worker1个historyserverMasterSpark Standalone 的主控节点负责管理集群 Worker 节点、接收应用提交、分配资源和调度任务保障集群资源的统一管控与任务分发。spark-ui端口是8080WorkerSpark Standalone 的工作节点接收 Master 分配的资源调度启动 Executor 执行 Task汇报节点资源使用状态是实际承载数据计算的核心节点work的目录在spark/work/里面有driver和workdriver是随机分配的收集节点。收集其他executer的执行信息History ServerSpark 历史服务读取spark.eventLog.dir存储的事件日志提供已结束应用的 UI 访问可查看历史 Job/Stage/Task 详情定位运行问题。/tmp/spark-event是他的日志存储需要hdfs才能凑齐其他数据的本地磁盘的话得scp到对应的那台节点executor是最小执行单元能够执行任务一个sparksql对应一个jobjob会把他的任务分成多个executor去执行。job也可以并发多个一般建议5~10如何查看日志进入spark点击driver然后就能看到是哪台节点就可以去看日志了。如果是启动问题那就看logs具体的任务要看work。cat xx |grep -C 5 搜索内容这种可以看搜索内容的上下5行ll -t 按修改时间从新到旧排序降序ll -l -t 长格式展示
