当前全球网络空间安全威胁日益严峻，网络攻击威胁和网络犯罪呈现组织化和产业化的趋势。传统的防御手段IDS（入侵检测系统）存在很多的不足，应对多态恶意代码、APT攻击、0-day攻击时都束手无策。攻击只为成功一次，防御则要成功每一天，因此防御方责任更大，形势更为严峻。正当人们为现有安全防御无力痛心的时候，大数据技术安全分析蓬勃发展，一系列核心技术与平台架构日趋成熟，如同发现了新的美洲大陆，安全界不约而同将目光转向了大数据技术在安全分析中的应用。
1、大数据安全分析的优势
大数据安全分析的目标是实时获得可行动的情报，可以被用来促进信息安全和态势感知，大数据技术具备以下三个优势：
首先，可以海量数据存储
随着信息化与网络安全建设的发展，企业的信息系统、安全设备越来越多，所产生的告警、日志等安全数据也呈爆发式增长，传统关系型数据库的数据处理效率在3000EPS左右，而大数据分布式架构下可以将每秒数据处理效率提高15倍以上。同时可以通过灵活扩展，解决海量数据存储扩容成本高的问题。
其次，可以提高查询速度
数据查询的范围，是以数据存储能力为前提的，而实时的计算能力则是数据可以任意查询的基础保障。传统关系型数据库查询1TB、时间跨度为6个月的数据，可能需要以小时为单位计算，而大数据分布式架构下能够达到秒级响应。
最后，可以降低开发成本
在大数据分布式架构下，数据是可以任意查询、检索与计算的，增加了功能但不需要改变数据结构。这样不但降低了开发的成本，还缩短了开发的周期。
2、大数据安全分析相关技术
网络空间安全是信息通信技术和计算机技术融合衍生出的新兴学科。而大数据安全是网络空间安全下属的子学科，融合了数据库，机器学习，信息安全等多项技术。从计算机网络顶会NSDI会议的关键词统计图中，我们可以看到分布式系统，网络安全，数据中心，大数据成为了会议的主流选题。这表明了两个重要的趋势，一是网络安全的持续升温，另一个是机器学习的应用逐渐兴起。所以，大数据+AI+安全衍生的大数据安全分析必定会成为未来的热点。
数据采集与解析技术
利用日志采集器实时以非格式化或半格式化采集原始数据，根据配置的解析规则和字段补全规则，完成数据的解析与数据补全。最终将解析的数据存入大数据存储中，以便后续进行实时或长周期的展示和统计分析。
大数据存储与处理技术
大数据平台计算处理能力达到日存储数据超过1T，支持千亿条数据的秒级处理，PB级数据管理与应用，保证高吞吐量与高数据压缩率，为安全智能分析提供实时或者长期的关联分析数据基础。
关联分析
通过关联分析引擎对采集的实时数据流进行深度关联分析，包括安全告警、系统日志、资产、网络、漏洞等信息之间用基于规则、基于统计、基于资产、基于情报等深度关联分析方法，综合分析进行安全威胁检测、预警。
机器学习
通过机器学习和算法对大量的历史信息和安全信息的关联，以无监督学习（异常检测）为主，并有人工辅助的半监督学习（专家、管理人员反馈），对威胁行为进行一个长周期的分析，找出安全威胁与攻击的异常行为和隐藏的威胁行为。
3、大数据分析技术架构
大数据安全分析总体技术架构由数据采集、预处理、存储、处理、分析计算、数据应用展示几部分组成，具体详见下图：
数据源
数据源是大数据分析的基础与前提，准确高质量的多源异构数据是安全分析效果的保证，进行安全分析需要收集的数据源包括：
采集和预处理
对数据源收集的信息进行解析、标准化和丰富化处理，从而为数据分析提供高质量的数据。
数据存储
全量存储网络中原始的网络数据，使数据结果分析更加全面可信。对所有网络行为数据建立索引，便于快速查询、管理分析和举证。
数据分析
利用关联分析、机器学习、深度学习等技术，从海量原始数据中自动挖掘出有价值的信息，最大的发挥数据的价值。
数据应用
依据数据分析结果，实现安全态势感知、安全预警、追踪溯源等应用。
4、大数据安全分析平台具有的功能
发现异常行为
预定义分析场景与规则，支持界面定制，内置时间序列、基线等多种异常检测算法；对大量的历史日志与安全信息进行机器学习与算法分析来侦测出异常行为模式和隐藏的威胁，无论是外部APT攻击，还是内部人员泄密。
日志与网络流量分析
多种日志格式和网络流量深度分析。
实时检索与溯源
对所有存储的海量信息进行索引，提供类似互联网搜索引擎的根据任意关键字定位到所有相关信息的能力；对威胁事件进行场景化展现并提供攻击链分析和文件还原，把溯源周期缩减到小时。
原始记录取证
利用分布式文件系统实现对海量安全基础信息的长期存储，可随时调取。
安全态势展现
结合大数据分析技术和数据可视化技术，可以通过不同维度展现局内整体安全态势。
大数据技术已逐渐深入到许多网络空间安全问题的处理和解决方案中，改变了网络空间安全与情报分析的研究格局，提高了高级网络攻击检测、信息安全风险感知与威胁情报分析处理等网络安全防御技术水平。我们相信，大数据安全分析技术在未来一定会给网络安全领域带来实质性的改变，不再出现网络攻击和防御的不对等的地位，防御手段更加智能，真正做到主动防御。