尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

brpc 终极实战指南:bthread 如何撑起高并发,5 分钟跑通服务

brpc 终极实战指南:bthread 如何撑起高并发,5 分钟跑通服务 brpc 终极实战指南bthread 如何撑起高并发5 分钟跑通服务【免费下载链接】brpcbrpc is an Industrial-grade RPC framework using C Language, which is often used in high performance system such as Search, Storage, Machine learning, Advertisement, Recommendation etc. brpc means better RPC.项目地址: https://gitcode.com/GitHub_Trending/brpc/brpcQPS 突然翻倍时先别急着加线程加机器。brpc 是百度出品的工业级 C RPC 框架靠轻量级 bthread 支撑检索、存储这类高并发系统百度内部有百万级实例在跑。它一个端口同时讲多种协议容错与可观测都是内置的开箱即用。一眼看懂谁在干什么主要用户类只有三个Server服务端、Channel客户端、Controller请求/响应参数容器不用拼装一堆 Manager。Server 与 Channel 共用一组 bthread 工作线程每个请求的读取与解析完全并发没有传统IO 线程 业务线程的划分。客户端用 URL 描述下游file://、list://、dns://、zk://、etcd:// 都支持配合负载均衡算法每次挑一台机器。同一个端口可同时讲 baidu_std、nshead、http/https、h2/gRPC还能反过来当客户端访问 redis、memcached。内置 HTTP 服务暴露 /status、/vars、/connections、/rpcz 以及 CPU、堆、锁竞争 profiler浏览器里直接看运行状态。机制点检bthread 怎么撑起几十万并发请求痛点不少 RPC 实现把 fd 哈希到若干 IO 线程一个巨型 protobuf 解析慢了同一线程上的其他连接跟着遭殃业务线程数还得人工反复调。解法bthread用户态轻量线程走 M:N 模型M 个 bthread 跑在 N 个内核线程上创建耗时只要几百纳秒。一个 bthread 阻塞时把 worker 让给别人worker 本地队列空了就去偷其他 worker 的任务work stealing多核因此被吃满。每个请求都由新建的 bthread 处理结束即销毁线程数跟着负载自然伸缩不用人工调。注意点业务代码里别直接调 bthread API这是框架该干的事。确需阻塞调用usleep、阻塞锁时要知道会占掉一整个 worker必要时调大 -bthread_concurrency 或在服务端限制最大并发。负载均衡与连接模式怎么选问题下游几百台机器频繁扩缩请求该发往谁连接怎么复用解法Channel.Init(naming_service_url, load_balancer, options) 一次解决。命名服务把名字映射成机器列表并定期同步最新列表上下游扩缩容互不感知负载均衡支持轮询 rr、随机、一致性哈希murmurhash3/md5和就近优先的 lalb连接方式可在短连接、连接池、单连接之间任选。brpc::ChannelOptions options; options.connection_mode brpc::POOLED; // 连接池模式 options.enable_circuit_breaker true; // 打开可选熔断 channel.Init(list://10.0.0.1:8000,10.0.0.2:8000, rr, options);注意点Init 不是线程安全的且一个 Channel 只能成功 Init 一次建好后供所有线程共用。别在每次请求前新建集群 Channel那要访问命名服务开销不小。熔断与可观测性哪些开关要打开问题下游节点逻辑卡死但 TCP 连接活着发给它的所有请求都超时上游被整体拖慢。解法默认熔断常开连接拒绝类错误或连续三次连接超时会触发摘除恢复靠周期性健康检查。不够用时打开可选熔断它记录每次请求的结果与累计出错时长用 EMA 更新时延基线长短两个窗口分别处理长期高错误率与短时抖动熔断后先隔离节点一段时间再探活。/connections 页面直接给出每个节点的熔断次数nBreak与近期错误数RecentErr。另有备胎请求首个请求快超时时并行发一份给别的节点、服务端并发限流、/vars 指标页和 /rpcz 调用追踪。注意点自定义超时务必保证 timeout_ms connect_timeout_ms否则三次连接超时攒不齐熔断永不触发可选熔断只统计开了该选项的 Channel同一服务的连接建议全部打开。性能与稳定性清单 ✅维度具体项作用参数-bthread_concurrency、ServerOptions.num_threads调 worker 线程数worker 太少会被阻塞拖垮参数服务端 max_concurrency限制同时处理的请求数防雪崩参数ChannelOptions.timeout_ms / connect_timeout_ms前者必须大于后者熔断才触发得了参数connection_mode、负载均衡算法短/池/单连接rr、c_hash、lalb 按场景选指标/varsbvarQPS、RT、错误率、队列长度日常监控主数据源指标/connections 的 nBreak、RecentErr看哪个下游节点频繁被熔断指标/rpcz、contention profiler、heap profiler定位长尾时延、锁竞争、内存问题兜底默认熔断常开 enable_circuit_breaker自动摘除故障节点兜底备胎请求、重试单节点故障不致请求失败兜底服务端并发限流avalanche过载时主动拒一部分请求保命大量 gflags 还能在 /flags 页面上线修改、免重启生效。指标细节见 docs/cn/bvar.md内置服务全景见 docs/cn/builtin_service.md。踩坑提醒新手最容易栽的五处误区像传统框架那样先按核数调业务线程数。正解bthread 模型里每请求一个新 bthread你调的是 -bthread_concurrency 的 worker 数不是业务线程数。误区在 bthread 里调 usleep 或长阻塞系统调用。正解那会占掉整个 worker业务代码保持非阻塞或给服务端配最大并发兜底。误区每次请求新建 Channel。正解集群 Channel 的创建会访问命名服务建一次、全线程共用。误区RPC 超时设得比连接超时还短。正解熔断依赖连续三次连接超时RPC 超时先触发就永远熔断不了。误区只在个别 Channel 上开可选熔断。正解熔断统计只收集开启的 Channel同一服务的所有通道都要打开。5 分钟上手克隆仓库并构建依赖 gflags、protobuf、leveldb 等安装命令见文档git clone https://gitcode.com/GitHub_Trending/brpc/brpc cd brpc sh config_brpc.sh --headers/usr/include --libs/usr/lib make cd example/echo_c make ./echo_server ./echo_clientecho 样例跑通后读 docs/cn/overview.md 了解能力边界照 docs/cn/getting_started.md 正式构建想深入原理可翻 docs/cn/bthread.md、docs/cn/load_balancing.md、docs/cn/circuit_breaker.md 与 docs/cn/backup_request.md。值不值得引入跑完这 5 分钟就有答案如果你的 C 高并发服务手写网络收发已经吃力它值得进你的技术栈。【免费下载链接】brpcbrpc is an Industrial-grade RPC framework using C Language, which is often used in high performance system such as Search, Storage, Machine learning, Advertisement, Recommendation etc. brpc means better RPC.项目地址: https://gitcode.com/GitHub_Trending/brpc/brpc创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表