【友情推荐】蓝星群主巨作：《风控要略——互联网业务反欺诈之路》

当看见马传雷三个字的时候，我意识到这已经不是一本普通的书了，他就是风控界的圣经。是马传雷同志带领着众多风控从业者跨越红海，抵达麦加的传奇故事，他的经验值得鼎力膜拜和学习。 在翻开扉页之时，我跪着读完了序章，看到了一众大牛的推荐和感谢，突然意识到这本书虽名为风控，但实际上是诠释安全的哲学，诠释世间的平衡，诠释万物的归宿的神级之作。拥有此书，顿觉一览众山小，睁开了从上帝视角看待世界的眼睛。从量子力学的角度说，这个世界正在变得越来越无序，但从这本书细细描述看来，无序也在书中变成了有序。 能读到如此的力作，真的是三生有幸，遗憾未能从出生时就开始学习马传雷的精神，但我必将携此著作的精神贯彻一生！ --来自于欠了书荐的某蓝星网友

主要作者马传雷实在太强了，内功深厚。 拆开快递的那一刻仿佛有一股力量铺面而来。 看了看封底页的几位推荐大佬，更是让我颤抖不已。 我决定未来十年随身携带此书，当我彷徨和迷茫时，当我恐惧忧虑时，此书定可避邪、消灾、解难，带我走上月入过万的新职业生涯！ ——来自蓝星群的群友

马三是CEO敕封的风控之父，名不虚传。虽其本人过谦的起名为“要略”，但实乃旷世奇书，业务反欺诈的方方面面无所不包，其本人更是上知天文下知地理，奇门遁甲风水阴阳，无不精通，乃安全界不世出的旷世奇才。

作为一名技术人员，特别希望多一点这样实实在在的图书，教我们如何应对业务风险。本书详细介绍了反欺诈安全系统建设的策略和技术，值得认真学习。

宝贝心仪很久了，趁活动时候买真的太划算了，喜欢的不要犹豫啊，风控书籍本就不多，作者经验丰富，结合实际经验，很有帮助，送货很快，态度很好，包装很好，推荐购买！

1.内容简介
《风控要略——互联网业务反欺诈之路》是一本全面描述互联网业务反欺诈体系的书籍，全书主要分为洞察黑产、体系构建、实战教程和新的战场4个部分。第1部分介绍了黑产欺诈团伙的运作套路和攻击手段；第2部分总结了我们在构建反欺诈技术体系过程中沉淀的实践经验；第3部分分享了我们和黑产对抗的多个实战案例，以及机器学习算法的综合运用；第4部分介绍了我们在物联网、内容安全、隐私合规等方面的实践和对海外厂商的观察。
读者通过仔细阅读《风控要略——互联网业务反欺诈之路》，可以对互联网反欺诈的过去、现在和未来有一个系统的认识。希望《风控要略——互联网业务反欺诈之路》能够为正在关注该领域或从事相关工作的读者提供有价值的参考。《风控要略——互联网业务反欺诈之路》适合互联网投资人、创业者、产品经理、运营人员和安全风控人员阅读。

2.作者简介
马传雷
曾任同盾科技反欺诈研究院执行院长、广州中国科学院软件应用技术研究所电子数据取证实验室特聘专家，还曾担任腾讯安全应急响应中心技术负责人、绿盟科技安全技术部总监等职务，国内知名安全专家。

孙　奇
曾任同盾科技反欺诈产品研发总监，浙江大学硕士，知名Java架构师、Qcon全球开发者大会讲师。

高　岳
东南大学硕士，曾任同盾科技移动安全产品研发总监，也曾在腾讯安全平台部负责移动产品安全检测能力建设和安全产品研发，业务安全专家。

3.精彩书评
互联网与现实生活已呈融合发展之势，我们从中获得了极大的便利，同时也埋下了诸多的安全隐患。虚拟与现实的交融隐藏着重重罪恶的身影，其中，互联网业务欺诈就如同一个毒瘤，让企业与个人遭受损失。本书作者及其团队身处对抗欺诈的一线，多年来积累了丰富的实战案例与从业经验。作者在本书中对互联网业务反欺诈技术进行了深入的探讨，生动还原了欺诈团伙的真实生态，系统总结了其惯用的各种犯罪手法与套路，详细论述了一系列较好的反欺诈技术体系和实施方案，对未来新兴技术领域的态势和应用思路进行了较为系统的前瞻性研究与探索。本书行文流畅、事例有趣、逻辑清晰、内容全面，对相关领域从业者而言，是一本在管理和技术层面上都具备很高参考价值的优秀书籍。
李建华 上海交通大学网络安全技术研究院院长、信息内容分析技术国家工程实验室主任

黑产和风控系统就是一对矛和盾，始终伴随着线上金融业务的发展。正所谓 “道高一尺，魔高一丈”，新欺诈手段和新的防控技术交相出现，不断博弈。有关黑产的技术、工具等信息不少，但是都不算完整，且缺乏系统性。本书的几位作者长期在安全行业奋战，有着丰富的实战经验，对黑产行业和技术的研究很深入。本书系统地介绍了黑产技术和反欺诈等安全系统建设的策略和技术，非常实用，值得认真学习。
李怀根 广发银行研发中心总经理

互联网反欺诈是个跨安全、数据、风控等多学科的新兴领域，作者高屋建瓴，以时间为轴，系统化介绍互联网反欺诈领域的过去、现在和未来，并配以案例，详细说明互联网反欺诈工作中风险分析、设计防范、策略部署和运营监控等内容，深入浅出，是当下互联网反欺诈领域难得一见的专业书籍。
高亮 移动集团智慧家庭运营中心高级安全专家

该书覆盖了移动安全、JS代码混淆、代码虚拟机保护，以及运用机器学习识别自动机等相关技术，内容丰富，值得业内人员深入研读。
杨珉 国家973项目首席科学家、复旦大学计算机科学技术学院副院长

该书的物联网安全相关章节全面介绍了物联网生态面临的安全风险，通过多个真实案例的分析让读者有了比较具体的认识。在介绍物联网安全和风控体系建设方案时，作者在充分借鉴传统安全攻防方法论的基础上，深度融合了数据分析的思路，形成了一个创新性的物联网生态安全建设方案，非常值得读者参考和借鉴。
王滨 研究员级高级工程师、海康威视副总裁

技术升级推进了业务的发展，深入了解互联网业务反欺诈是每一个风控从业人员的必修课。本书干货满满、诚意十足，值得每一位互联网风控从业人员品读。
王彬 华住集团信息安全副总裁

这是一本非常专业的关于互联网风控业务的图书，凝结了作者长期与黑产斗争、建设风控体系的宝贵经验，是值得业务安全从业者甚至业务人员细读的、不可多得的好书！
林鹏 猎豹移动安全总监

我认识马传雷近20年，见证着他在传统安全甲方、乙方的长期实战经历，也见证着他从传统安全到风控反欺诈的转型。这本书凝聚了其风控团队与黑产斗争的心血，将宝贵经验毫无保留的成体系化进行总结与提炼，是一部集大成之作，值得互联网企业的风控部门学习借鉴。
oldjun  T00ls.net联合创始人

4.目录
引言  互联网业务安全概述        1
第一部分  洞察黑产
第1章  黑产发展态势        8
1.1  黑产组织结构       8
1.2  黑产成员分布       11
1.3  黑产专业化分工   12
1.4  黑产攻击规模       13
1.5  电信欺诈黑产       15
1.6  本章小结       16
第2章  黑产武器库概览    17
2.1  虚假号码       17
2.1.1  猫池    18
2.1.2  短信验证码        20
2.1.3  接码平台    21
2.1.4  空号注册    22
2.1.5  流量卡和物联网卡    22
2.1.6  手机rom后门   23
2.2  代理IP   23
2.3  设备伪造工具       25
2.3.1  改机工具    25
2.3.2  多开工具    26
2.3.3  Root/越狱工具   27
2.3.4  Xposed         28
2.3.5  Cydia Substrate   28
2.3.6  Frida    28
2.3.7  硬改工具    29
2.3.8  脱机挂        29
2.3.9  备份恢复/抹机恢复  30
2.3.10  模拟器      32
2.3.11  定制浏览器      33
2.3.12  自动化脚本      34
2.4  其他工具       35
2.4.1  位置伪造工具    35
2.4.2  群控    36
2.4.3  工具集        42
2.5  本章小结       43
第二部分  体系构建
第3章  反欺诈体系建设思路    46
3.1  动态防控理念       46
3.2  防控体系构建       47
3.3  本章小结       50
第4章  风控核心组件设备指纹        51
4.1  设备指纹的原理   51
4.2  设备指纹的技术实现   52
4.2.1  Android设备指纹      52
4.2.2  iOS设备指纹      54
4.2.3  Web设备指纹   56
4.2.4  设备ID生成与恢复逻辑  58
4.2.5  被动式识别技术        61
4.3  代码保护       62
4.3.1  JS代码混淆技术        63
4.3.2  Android/iOS SDK加固保护        77
4.4  本章小结       92
第5章  基于用户行为的生物探针    93
5.1  生物探针       94
5.2  无感认证       95
5.2.1  无感认证的基础        96
5.2.2  无感认证的构建        97
5.3  生物探针的应用场景   100
5.4  本章小结       100
第6章  智能验证码的前世今生        102
6.1  验证码的诞生       102
6.1.1  验证码的本质    103
6.1.2  验证码的发展    105
6.2  验证码的攻防       108
6.2.1  字符验证码的识别    108
6.2.2  新型验证码的识别    112
6.2.3  对抗黑产的方案        115
6.3  设计一款优秀的验证码       117
6.3.1  设计标准    117
6.3.2  设计实战    118
6.4  本章小结       122
第7章  风控中枢决策引擎系统        123
7.1  规则引擎       123
7.1.1  脚本引擎    124
7.1.2  开源规则引擎    125
7.1.3  商业规则引擎    125
7.1.4  几种规则引擎实现方案的对比        126
7.2  规则管理       127
7.3  规则推送       128
7.4  规则执行       129
7.5  外部系统集成       129
7.6  灰度测试       130
7.7  本章小结       131
第8章  海量数据的实时指标计算    132
8.1  实时指标计算概述       132
8.2  实时指标计算方案       135
8.2.1  基于数据库SQL的计算方案   135
8.2.2  基于事件驱动的计算方案        135
8.2.3  基于实时计算框架的计算方案        136
8.2.4  实时指标计算方案对比    141
8.3  反欺诈实时指标计算实践   141
8.3.1  实时指标计算引擎原型    141
8.3.2  数据拆分计算    144
8.3.3  分片计算    147
8.3.4  引入Flink    148
8.3.5  Lambda架构      148
8.4  反欺诈实时指标计算系统   149
8.5  本章小结       151
第9章  风险态势感知系统        152
9.1  基于统计分析的方法   153
9.1.1  核心风控指标数据    154
9.1.2  核心业务数据    156
9.2  基于无监督学习的方法       157
9.3  基于欺诈情报的方法   158
9.4  预警系统       159
9.5  本章小结       160
第10章  风险数据名单体系      161
10.1  名单体系的价值 162
10.2  名单体系的设计 162
10.3  名单体系的生命周期 166
10.4  名单体系质量管理     168
10.5  本章小结     168
第11章  欺诈情报体系      169
11.1  情报采集     169
11.1.1  数据情报  170
11.1.2  技术情报  171
11.1.3  事件情报  174
11.2  情报分析     175
11.3  本章小结     179
第三部分  实战教程
第12章  机器学习算法的使用  182
12.1  机器学习的广泛应用 182
12.2  机器学习的落地过程 183
12.2.1  特征工程  183
12.2.2  模型选择  187
12.2.3  模型训练  195
12.2.4  工程化和业务落地 197
12.3  机器学习实战案例     198
12.3.1  案例一：黑产设备群控网络挖掘 198
12.3.2  案例二：黑产用户行为聚类分析 205
12.3.3  案例三：金融在线申请反欺诈      212
12.4  本章小结     220
第13章  互联网反欺诈实战      221
13.1  典型反欺诈业务场景风险分析 221
13.1.1  垃圾注册风险识别 222
13.1.2  批量登录风险识别 223
13.1.3  “薅羊毛”风险识别      225
13.1.4  裂变拉新作弊风险识别 227
13.1.5  “任务”作弊风险识别 229
13.1.6  恶意退单风险识别 229
13.2  解决方案设计示例     231
13.2.1  电商薅羊毛      233
13.2.2  裂变拉新  236
13.3  策略部署     239
13.3.1  策略配置  239
13.3.2  策略迭代  241
13.4  运营监控     241
13.4.1  监控预警报表 241
13.4.2  态势感知  242
13.4.3  情报监控  243
13.5  本章小结     244
第四部分  新的战场
第14章  物联网时代的风控      246
14.1  物联网安全态势 246
14.2  物联网安全威胁分析 247
14.2.1  云端平台安全威胁 248
14.2.2  网络通信安全威胁 249
14.2.3  设备终端安全威胁 250
14.2.4  物联网安全监管要求      253
14.3  物联网安全风险控制体系建设思路 254
14.4  物联网安全风险态势感知系统 256
14.5  本章小结     260
第15章  内容安全与合规  261
15.1  内容安全合规概述     261
15.2  文本内容安全     263
15.2.1  敏感词系统      264
15.2.2  基于NLP的AI模型 267
15.3  图像内容安全     271
15.3.1  图像分类  271
15.3.2  敏感人物识别 276
15.3.3  图像文字识别 285
15.4  语音内容安全     286
15.4.1  有语义语音      286
15.4.2  无语义语音      287
15.5  视频内容安全     288
15.5.1  视频内容安全处理流程 289
15.5.2  关键帧提取      289
15.6  内容安全工程     290
15.7  内容安全系统的评价指标 291
15.8  本章小结     292
第16章  风控与数据合规使用  293
16.1  网络安全立法进程     293
16.2  个人数据合规使用     294
16.2.1  用户隐私政策 295
16.2.2  数据安全流转 296
16.3  数据合规技术创新实践     298
16.3.1  数据匿名查询 298
16.3.2  区块链共享黑名单 299
16.4  本章小结     300
第17章  海外风控公司      302
17.1  Arkose Labs  302
17.2  Sift        304
17.3  Forter   305
17.4  Shape Security     306
17.5  Okta     308
17.6  本章小结     313

5.前言/序言
从2018年开始，我和高岳、孙奇一起从事业务安全产品设计、研发的工作。在此之前，高岳是移动安全方面的专家，孙奇是资深的Java架构师，而我则是从事黑客攻防对抗的工程师。于我们而言，这是一段非常美好的经历，非常感谢命运的安排。
因为个人兴趣和工作需要，我们和很多朋友就互联网业务安全进行了深入交流。他们有的是互联网公司的产品研发人员和运营人员，有的是传统金融机构互联网线上业务拓展推广人员，也有的是专业风控和安全从业者。从与他们的沟通交流中，我们学到了很多业务领域的知识，同时也发现大家对互联网黑产及互联网业务安全体系构建缺乏深入了解。我们常常听到这样的话：“投入了很多资源构建互联网业务安全体系，购买了专业公司的风控产品和服务，但是依然没能阻止网络黑产无情的攻击。”
在实际项目中，我们也遇到了一些困扰：产品POC测试严重脱离业务场景实际需求，错误的策略部署导致产品无法正常发挥防御能力。我们在复盘时常常反思这些问题，是不是可以通过某些方式帮助客户更全面地理解业务风险的脉络和黑产攻击的套路。很多问题的产生并不是因为黑产团伙的技术有多么高明，而是因为防御方不能够很好地帮助客户理解业务风险。
2019年3月的某一天，高岳提议写一本全面介绍互联网业务反欺诈体系构建和实践经验的书籍，这个建议点燃了我们心中的火焰。我们立即开始整理资料并写作，经过8个多月的努力，我们在2020年的春节前完成了这本书稿。
本书主要分为洞察黑产、体系构建、实战教程和新的战场4个部分。第1部分介绍了黑产欺诈团伙的运作套路和攻击手段；第2部分总结了我们在构建反欺诈技术体系过程中沉淀的实践经验；第3部分分享了我们和黑产对抗的多个实战案例，以及机器学习算法的综合运用；第4部分介绍了我们在物联网、内容安全、隐私合规等方面的实践和对海外厂商的观察。
希望读者通过阅读本书，可以对互联网反欺诈的行业现状有一个系统而具体的认识。业务安全的真正力量是内生的，专业的安全风控公司可以提供工具、平台和策略建议，但是只有业务方真正理解风险和防控思路，才能在与黑产的对抗中设计好业务规则、运营好安全策略，取得较好的效果。如果读者正在关注该领域或从事相关工作，我们相信本书一定能够为您提供帮助。
我们相信本书将成为中国互联网历史中一个微小但坚硬的符号。以当前互联网的进化速度，若干年后本书介绍的风控体系可能会被新技术完全重构，行业态势也会有很大的不同。后来者可以通过本书观察和体会行业与技术的演进轨迹，进而把握未来的发展趋势。
用工作之外的时间把自己的想法变成数十万字的图书，是一件非常考验耐心的事情。除了三位主要作者，还有以下几位同学坚持参与撰写本书的部分内容。
* 李克勤、章岚撰写了“第2章  黑产武器库概览”、“第10章  风险数据名单体系”和“第11章  欺诈情报体系”章节的初稿。
* 郭嵩、彭亮撰写了“第4章  风控核心组件设备指纹”中Web设备指纹和JS混淆相关内容的初稿。
*  赵峰撰写了“第5章  基于用户行为的生物探针”章节的初稿。
*  江杰撰写了“第6章  智能验证码的前世今生”章节的初稿。
* 贺海军、王明英撰写了“第12章  机器学习算法的使用”实战案例相关的内容。
* 刘莹撰写了“第13章  互联网反欺诈实战”章节的初稿。
在稿件完成之际，有特别多想感谢的朋友。在过去的一年中，罗小果等同事运作的项目，促使我们对业务安全防御体系有了更深入的思考，使得本书的整体框架更具有逻辑性。在完成初稿后，陈钧衍等多位技术同事给出了很多非常好的修改建议。感谢电子工业出版社的策划编辑符隆美，感谢我们的同事韬哥、伟哥、艺严等，感谢“蓝星技术群”的互联网安全同行，没有你们的鼓励和帮助，也许就不会有这本书的面世。
作为互联网安全从业者，回顾这几年走过的路，黑产的技术发展和规模膨胀给我们带来了很大的压力，同时也让我们有了更大的动力去构建更加有效的安全防御产品体系。在此我们向互联网安全行业中诸多提携我们成长的前辈和守望相助的朋友们致敬，他们是alert7、binw、cnhawk、coolc、cy07、flashsky、huiwang、instruder、kevin1986、lake2、lenx、linkboy、marcohp、mkliu、oldjun、pix、rozero、scz、tb、xi4oyu、xundi、方斌、丁丽萍、顾孔希、高亮、何艺、刘进、林鹏、马坤、聂君、秦波、王彬、王任飞、王英健、阎文斌、杨珉、赵弼政等等（排名不分前后），还有很多很多行业拓荒者和同行者，在此难以一一列举。
由于作者写作水平有限，书中难免存在疏漏与不足之处，恳请读者批评指正。就本书覆盖的内容而言，在反爬虫、反洗钱、业务生态秩序安全治理及用户安全心智建设等深水区没有进行深入阐述，我们也是心有遗憾并且希望能够在下一本书中弥补，敬请期待。

马传雷