由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
PDA版 - 基站异常大数据问题和我的实施方案 (转载)
1 (共1页)
j***e
发帖数: 1
1
【 以下文字转载自 Programming 讨论区 】
发信人: SwiftDove (Swift Dove), 信区: Programming
标 题: 基站异常大数据问题和我的实施方案
发信站: BBS 未名空间站 (Sun Dec 16 16:39:28 2018, 美东)

多年前在这里看到了有多人提及Spark,就去看了看。后来就试一试组里的项目,经
理比较支持。在那以后的几年里,我们有好几个项目用了Spark。曾经有个项目还得到
SVP的赞许。那也是我提职为principal两三年艰难过程最后的了结 :经理早就帮忙,
VP也点头了,可是上面卡的很死。老行业,半死不活的,也无可抱怨。其实,真的非常
鸡肋,只加了5%的薪水。这个坛子还是很不错的,特别像dwong, teacherwei,
guvest等等大牛始终给坛子常年做不少贡献。。。记得赵策写的特快,好虫特能博眼球
,可是英雄气短,不再与众人为伍。
现在在家度假,闲来就再聊聊那个基站异常大数据问题。虽然做的有点辛苦,但觉得
我的解决方案中有点“学术”的味道。在这里和大家分享一下,这基本上是我一个做的
,其中不免很多疏漏和拙见,请大家手下留情,轻砸。
我曾提到我觉得我们主任把问题抽象得很好。。。很多人看了那组数据可能摸不着头
脑,我最初也是如此。现在让我重述一下我们实际上想解决的问题: 我们每小时能收
集到一亿多的一种geospatial数据点,在这一亿多中大约有几百万点是“坏点”。这些
坏点也可能是正常的(就像产品有一定的次品率)。但是, 要是某个地方比其历史来
突然持续出现很多坏点,我们估计这个地方的基站可能出问题了。我们的目的是找出这
样的区域和基站。
我的方案是这样的:
1. 先把数据按小时分段。把当前小时的“坏点”拿出来分类,比较集中的地方出现
问题的可能性比较大。
2. 把当前小时的“坏点”放在一起,这样实际上我们就只有平面(球面)这两个纬
度了。这样分类容易一些,因为要把时间纬度放在一起,“距离”不好定义。
3. 用DBScan给“坏点”分类。这里也有不少坑。很多包对‘大’数据不行。最后,
选了https://elki-project.github.io/, 经过开发者的提示,用covertree index极
大地提高了速度 – 几百万点用一个比较大的单机十几分钟就能完成(用Spark’s
Client mode, 这部分在Edge node上完成)。最初一二十万的点也需要很多小时才能完
成。 调DBScan的参数也是一个“艺术“。分类的结果得到大约3~4万的clusters。
4. 下一步要计算“坏点“率。怎么算呢?分母的点集怎么定义?这是个难点。我数
学的基础可能对我有点帮助。。。前半生研究了十几年复杂的凸分析,结果用了一个最
简单的部分。我用3)中每个类里的“坏点”产生一个凸包(convex-hull),这样就定
义了一个含有这些“坏点”的区域。所有属于这个凸包的点就是分母了。在这上面也花
了不少时间:有的凸包太大包含太多点。又试了好多凹包(concave-hull),这是一个
没严格定义的东西。最后,实际上还有些太大的凸(凹)包,虽然我本人不太满意,但
有几个人认为它本身有意义, 再分不一定好。
5. 要找到4)中的分母也不容易:有一亿点要判断它们是不是属于某个凸包。用了
GeoSpark里的SQL,但这毕竟是1亿对4万的“Cross Join“, 非常昂贵, 做不出来。
我试了一个小州的数据,倒是能算出来。可是即使把加州分成两三块,有时还是算不出
来。做“Cross Join“时,也给每个凸包画个矩形,这样可以在lat,lng上做数值比较
,好了不少但有时还是无法算出来。这个地方卡了我好久:给好多州划块,怎么实验有
时总是卡。突然有一天,我脑洞大开:把那4万个凸包每相邻的(就简单按凸包中心做
排序)100个分成一组,把这一百个凸包拼在一起,画个框,这样每次处理的数据大大
地减少了。这样还真的就能做出来了。同时,这也避免了事先画框(像把一个州分块)
把本来在一起的cluster给切开了。
6. 接下来的工作量还是很大:因为要比较历史做统计分析,还得把历史上得“坏点
“率算出来(我们选过去13个周得每周的同一天同一个小时)。这又涉及二十几个”
Cross Join“,但用5)最后的方法同样也做出来了。
7. 其它还有一些零碎工作,像找每个凸包里或附近的基站, 这涉及更多的“Cross
Join“。我还帮助前端做了用Google maps 画出凸包(polygon),坏点分布和附近的
基站等的prototype。Detail是另一个人做。
我本人是匹老马了。好在我的经理非常信任我:不管做成什么样子都不会不满意。我也
从这里和我们组里的年轻人那里得到了不少东西。我提到得那个年轻人在我们组时,我
们经理给了他不少荣誉 (评上公司优秀奖),以至于有一个老中对经理非常有意见。
其实, 大家大部分人只是做一个搬砖的工作,做好做坏做什么大多时候不是那么重要
的。
1 (共1页)