7 行代码让B站崩溃 3 小时,竟因“一个诡计多端的 0”

2022-07-24 0 935

一个小小字符“0”,竟引得B站全面崩溃。

7 行代码让B站崩溃 3 小时,竟因“一个诡计多端的 0”

不知你是否还记得那一夜,B站“大楼停电”“服务器爆炸”“程序员删库跑路”的彻夜狂欢。(手动狗头)

时隔一年,背后“真凶”现在终于被阿 B 披露出来 ——

7 行代码让B站崩溃 3 小时,竟因“一个诡计多端的 0”

没想到吧,就是这么简单几行代码,直接干趴B站两三个小时,搞得B站程序员彻夜无眠头发狂掉。

你可能会问,这不就是个普普通通用来求最大公约数的函数吗,怎么就有如此大的威力?背后一桩桩一件件,归根结底其实就一句话:0,它真的不兴除啊

7 行代码让B站崩溃 3 小时,竟因“一个诡计多端的 0”

具体详情,咱们还是一起来看看“事故报告”。

字符串“0”引发的“血案”

先来说道说道引发惨案的根本原因,也就是开头贴出的这个 gcd 函数。学过一点编程知识的小伙伴应该都知道,这是一种用辗转相除法来计算最大公约数的递归函数

跟我们手算最大公约数的方法不同,这个算法是这样的:

举个简单的例子,a=24,b=18,求 a 和 b 的最大公约数;

a 除以 b,得到的余数是 6,那么就让 a=18,b=6,然后接着往下算;

18 除以 6,这回余数是 0,那么 6 也就是 24 和 18 的最大公约数了。

也就是说,a 和 b 反复相除取余数,直到 b=0,函数中:

if b==0 then return a end

这个判断语句生效,结果就算出来了。基于这样的数学原理,我们再来看这段代码,似乎没什么问题:

7 行代码让B站崩溃 3 小时,竟因“一个诡计多端的 0”

但如果输入的 b 是个字符串“0”呢?

B站的技术解析文章中提到,这段出事的代码是用 Lua 写的。Lua 具有这么几个特点:

  • 这是一种动态类型语言,常用习惯里变量不需要定义类型,直接给变量赋值就行。

  • Lua 在对一个数字字符串进行算术操作时,会尝试将这个数字字符串转成一个数字。

  • 在 Lua 语言中,数学运算 n%0 的结果是 nan (Not A Number)。

我们来模拟一下这个过程:

1、当 b 是一个字符串“0”时,由于这个 gcd 函数没有对其进行类型校验,因此在碰上判定语句时,“0”不等于 0,代码中“return _gcd (b, a% b)”触发,返回_gcd (“0”, nan)。

2、_gcd (“0”, nan) 再次被执行,于是返回值变成了_gcd (nan, nan)。

这下就完犊子了,判定语句中 b=0 的条件永远没法达到,于是,死循环出现了。也就是说,这个程序开始疯狂地原地转圈,并且为了一个永远得不到的结果,把 CPU 占了个 100%,别的用户请求自然就处理不了了。

7 行代码让B站崩溃 3 小时,竟因“一个诡计多端的 0”

那么问题来了,这个“0”它到底是怎么进去的呢?

官方说法是:

在某种发布模式中,应用的实例权重会短暂地调整为 0,此时注册中心返回给 SLB(负载均衡)的权重是字符串类型的“0”。此发布环境只有生产环境会用到,同时使用的频率极低,在 SLB 前期灰度过程中未触发此问题。

SLB 在 balance_by_lua 阶段,会将共享内存中保存的服务 IP、Port、Weight 作为参数传给 lua-resty-balancer 模块用于选择 upstream server,在节点 weight=“0”时,balancer 模块中的_gcd 函数收到的入参 b 可能为“0”。

bug 是如何定位的

以“事后诸葛亮”的视角来看,这个引发B站全面崩溃的根本原因多少有点让人直呼“就这”。但从当事程序员的视角来看,事情确实没有辣么简单。

当天晚上 22:52 分 —— 大部分程序员才刚下班或者还没下班的节骨眼(doge),B站运维收到服务不可用的报警,第一时间怀疑机房、网络、四层 LB、七层 SLB 等基础设施出现问题。

然后立马和相关技术人员拉了个紧急语音会议开始处理。5 分钟后,运维发现承载全部在线业务的主机房七层 SLB 的 CPU 占用率达到了 100%,无法处理用户请求,排除其他设施后,锁定故障为该层。

(七层 SLB 是指基于 URL 等应用层信息的负载均衡。负载均衡通过算法把客户请求分配到服务器集群,从而减少服务器压力。)

万般紧急之时,小插曲还现了:远程在家的程序员没法进入内网,只好又去 call 了一遍内网负责人,走了个绿色通道才全部上线(因为其中一个域名是由故障的 SLB 代理的)。

7 行代码让B站崩溃 3 小时,竟因“一个诡计多端的 0”

此时已经过去了 25 分钟,抢修正式开始。

首先,运维先热重启了一遍 SLB,未恢复;然后尝试拒绝用户流量冷重启 SLB,CPU 依然 100%,还是未恢复。

接着,运维发现多活机房 SLB 请求大量超时,但 CPU 未过载,正准备重启多活机房 SLB 时,内部群反应主站服务已恢复,视频播放、推荐、评论、动态等功能已基本正常。

此时是 23 点 23 分,距离事故发生 31 分钟。

7 行代码让B站崩溃 3 小时,竟因“一个诡计多端的 0”

至于这道防线为啥一开始没发挥作用,里头可能还有你我一点锅。

简单来说,就是大家伙点不开B站就开始疯狂刷新,CDN 流量回源重试 + 用户重试,直接让B站流量突增 4 倍以上,连接数突增 100 倍到千万级别,多活 SLB 就给整过载了

7 行代码让B站崩溃 3 小时,竟因“一个诡计多端的 0”

不过,并不是所有服务都搞了多活架构,至此事情并没完全解决。接下来的半个小时里,大家做了很多操作,回滚了最近两周左右上线的 Lua 代码,都没把剩余的服务恢复。

时间来到了 12 点,没有办法了,“先不管 bug 是怎么出来的,把服务全恢复了再说”。简单 + 粗暴:运维直接耗时一小时重建了一组全新的 SLB 集群

凌晨 1 点,新集群终于建好:一边,有人负责陆续将直播、电商、漫画、支付等核心业务流量切换到新集群,恢复全部服务(凌晨 1 点 50 分全部搞定,暂时结束了崩了逼近 3 个小时的事故);

另一边,继续分析 bug 原因。在他们用分析工具跑出一份详细的火焰图数据后,那个搞事的“0”才终于露出了一点端倪:CPU 热点明显集中在一个对 lua-resty-balancer 模块的调用中。而该模块的_gcd 函数在某次执行后返回了一个预期外的值:NaN。

同时,他们也发现了触发诱因的条件:某个容器 IP 的 weight=0。他们怀疑是该函数触发了 jit 编译器的某个 bug,运行出错陷入死循环导致 SLB CPU 100%。于是就全局关闭了 jit 编译,暂时规避了风险。一切都解决完后,已经快 4 点,大家终于暂时睡了个好觉。

第二天大家也没闲着,马不停蹄地在线下环境复现了 bug 后,发现并不是 jit 编译器的问题,而是服务的某种特殊发布模式会出现容器实例权重为 0 的情况,而这个 0 是个字符串形式。

正如前面所说,这个字符串“0”在动态语言 Lua 中的算术操作中,被转成了数字,走到了不该走的分支,造成了死循环,引发了 b 站此次前所未见的大崩溃事件。

递归的锅还是弱类型语言的锅?

不少网友都还对这次事故记忆犹新,有回想起自己就是以为手机不行换电脑也不行的,也有人还记得当时 5 分钟后此事就上了热搜。

大家都很诧异,就这么一个简单的死循环就能造成如此大的网站崩服。不过,有人指出,死循环不罕见,罕见的是在 SLB 层、在分发过程出问题,它还不像在后台出问题很快能重启解决。

7 行代码让B站崩溃 3 小时,竟因“一个诡计多端的 0”

为了避免这种情况发生,有人认为要慎用递归,硬要用还是设置一个计数器,达到一个业务不太可能达到的值后直接 return 掉。

还有人认为这不怪递归,主要还是弱类型语言的锅。以此还导致了“诡计多端的‘0’”这一打趣的说法。

7 行代码让B站崩溃 3 小时,竟因“一个诡计多端的 0”

另外,由于事故实在是耽误了太久、太多事儿,当时B站给所有用户补了一天大会员

有人就在此算了一笔账,称就是这 7 行代码,让 b 站老板一下亏了大约 1,5750,0000 元。(手动狗头)

7 行代码让B站崩溃 3 小时,竟因“一个诡计多端的 0”

对于这个 bug,你有什么想吐槽的?

收藏 (0) 打赏

感谢您的支持,我们会继续努力的!

打开支付宝/微信/QQ扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

1. 本站所有教学内容和资源均来源于本站原创和网络收集以及用户自主上传,如有侵权请带证联系本站客服进行处理!邮箱:team@lcwl.fun
2. 对于非本站原创的资源不保证所提供下载资源的准确性、安全性和完整性,资源仅供下载学习之用!如有链接无法下载、失效或广告,请联系本站客服处理,有奖励!
3. 除本站原创教学或资源外其余资源您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容资源!如用于商业或者非法用途,与本站无关,一切后果请用户自负!
4. 本站原创资源如需商用还请申请商业授权,否则本站有权追究其法律责任!
5. 如果您也有好的资源或教程,您可以投稿发布,成功分享后有学币奖励额外收入!

凌晨资源网 IT资讯 7 行代码让B站崩溃 3 小时,竟因“一个诡计多端的 0” https://www.lingchenw.cn/3891.html

常见问题
  • 本站所有付费教程均可单独付费或者开会员学习,自己购买或者开了会员就可以学习,来凌晨学院报名学习送会员,并且有讲师一对一辅导培训教学,师生互动化,定期布置作业等
查看详情
  • 本站所有资源版权均属于原作者所有,资源中标注可商用的可以商用的代表是本团队自主研发公布可商用的产品,未标注可商用所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。
查看详情

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务

学习手机编程软件开发
手机编程软件开发

你知道吗?用手机也能开发制作软件,满足自己的编程心,做属于自己的软件

报名学习
自媒体短视频
副业做自媒体短视频

想做自媒体短视频剪辑给自己多一份副业,只需一部手机你也可以

报名学习
搭建网站必备云互联主机
链未云互联

搭建网站,后台云服务等必备云服务器互联主机,IDC云主机

现在使用
Fa快捷助手
用手点一点就能开发做软件

不用记编程语法,不用一行一行手敲代码,用手点一点就能开发制作软件

点击下载