kafka 【源码篇】KafkaProducer初始化源码流程 Kafka版本3.0,从源码层面对KafkaProducer初始化流程进行分析。 2022-04-22 浏览(314) 评论(0) 阅读全文
kafka 【源码篇】Kafka内存管理BufferPool 为了实现内存的高效利用,基本上每个成熟的框架或者工具都有一套内存管理机制,kafka的生产者使用BufferPool来实现内存(ByteBuffer)的复用。 2022-03-28 浏览(355) 评论(0) 阅读全文
Spark 任务提交SparkSubmit源码解析 检查SPARK_HOME执行环境 执行load-spark-env.sh文件,加载一些默认的环境变量(包括加载spark-env.sh文件) 检查JAVA_HOME执行环境 寻找Spark相关的jar包 执行org.apache.spark.launcher.Main解析参数,构建CMD命令 CMD命令判断 执行org.apache.spark.deploy.SparkSubmit这个类。 2021-01-07 浏览(1,576) 评论(3) 阅读全文