ArcSight简介-ArcSight技术系列之一
从2008年接触ArcSight系列产品以来，距今已近十年，这十年，见证了ArcSight在SIEM市场的迅速崛起，多次获得Gartner SIEM魔力象限的领导者区域并高居榜首。虽然最近几年有不断下滑之势，但不可否认，ArcSight仍是我用过的「最好用」，也是「最简单」的SIEM工具。本公众号将发表ArcSight技术系列文章，系统介绍ArcSight的技术原理和安装配置使用指南，以及相关实践案例，敬请关注。
一、ArcSight简介
ArcSight是SIEM的老牌传统产品，成立于2000年5月，2010年10月被HP以约16亿美元收购，纳入其企业安全软件群中，2016年9月HPE以88亿美元将其软件业务出售给了Micro Focus，其中就包含ArcSight。
图1：Gartner关于SIEM魔力象限
最近10年ArcSight一直保持在SIEM魔力象限的领导者区域，如果不是由于各种收购、人员流失、缺乏技术创新，导致最新的（2017）的SIEM魔力象限中ArcSight已经跌出了领导者区域，尽管如此，对于大型集团性用户、MSSP类型用户、注重关联性分析的用户、有很多非标日志源的用户来说ArcSight目前还是最优的选项。因为ArcSight是我用过的「最好用」也是「最简单」的SIEM工具，体现在两点：
通过简单的图形化操作即可构建复杂的安全规则；
通过简单的培训即可自己动手开发FlexConnector，以支持非官方支持的日志。‘简单的培训’，意指没学过程序开发的普通IT基础人员，2小时上手，2天内掌握复杂日志Parser开发。
后续系列会专题介绍ArcSight Usecase规则定制、FlexConnector开发。
2017年Gartner关于SIEM的报告中三驾马车换成了IBM、Splunk、LogRhythm，McAfee尽管还在领导者象限，但经历过Intel的买卖估计也就是下个ArcSight。
Micro Foxus竟然同时有ArcSight和NetIQ，不知道未来1+1会不会大于2。大名鼎鼎的FireEye首次入围，中国的启明星辰（Venustech）也首次入围，尽管都是小玩家象限，不知道会不会像Splunk那样一路成长，其实Splunk亚太区的很多人就是以前ArcSight的人，最近有向ELK转移的趋势，那会是下一个技术突破点吗？
其实SIEM仅是SOC技术平台的一个组成部分而已，工具的好坏尽管重要，但是Use Case才是业务所需的东西，实际情况下，用户的安全需求、架构各不相同，ArcSight的强项就是可灵活定制的关联分析平台ESM及可以方便收集非标日志的FlexConnector，注意ESM仅仅是平台，就像微软的Office套件，大好文章随你挥洒，但文章好坏在于文章作者和内容而非技术平台。
二、ArcSight模块简介
ArcSight包含的产品及模块较多，有些还需单独付费才能启用，以下仅就中国大陆地区常见的模块及功能做个简述。
图2：ArcSight产品框架
（一）数据采集
ArcSight的数据采集由采集软件（Connector）实现，目前支持近400种日志类型，日志获取的方式支持数据库、文本文件、Syslog、SNMP、REST API，日志记录支持单行、多行，日志内容支持文本、XML、JSON。
由ArcSight开发、维护、支持的日志采集器称为SmartConnector，用户自定义开发、维护、支持的日志采集器称为FlexConnector，两种Connector使用完全相同的框架，是同一个软件安装包。SmartConnector大约每1-2月发布一个大版本，提供新的日志类型和格式的解析支持，本文发表前最新的版本是7.7。
SmartConnector本身并不单独销售，也不免费提供下载（但可以通过官网下载Logger评测版的方式获得相关此软件及文档，官网下载链接：https://software.microfocus.com/en-us/products/siem-data-collection-log-management-platform/free-trial，FlexConnector需要单独采购一个开发授权，Connector支持安装在Windows 32/64位、Linux 32/64位、Solaris x64、Solaris SPARC操作系统中。
图3：Connector SPL
Connector本身是个软件，ArcSight也可以硬件形式提供Connector Appliance，它按EPS划分规格，设备包括了Linux操作系统、基于Web的管理界面，适合一体化解决方案的用户。
（二）数据汇聚
Connector采集后，经过规范、补充后的数据可以直接发送至后台的关联分析软件ESM或/和发送给日志存留/查询软件Logger，这是以前传统的做法。2016年ArcSight发布了基于Kafka技术名为Event Broker的产品，它可以适应超大数据量的场景，支持伸缩、高可用、多Consumer，Connector可以作为Producers将数据以CEF格式输入Event Broker中，ArcSight ESM、Logger、Hadoop及其它支持Kafka的Consumer可以从中获取CEF格式数据。
Event Broker本身不单独销售，它和Connector、Logger、ArcMC一起打包作为ADP（ArcSight Data Platform）进行销售。
Event Broker由于是新出的产品，版本迭代很快，本文发表前最新的版本是2.11。
图4：Event Broker 版本信息
（三）数据存储
Logger是个类似Splunk的产品，可以接收Connector发送的格式化日志，也可以直接作为Syslog服务器或通过SCP、SFTP、FTP获取非结构化的数据，但其性能和部分细节功能没有Splunk强，它出身也就是ArcSight为了应对Splunk，评测版可以直接下载，官网下载链接：https://software.microfocus.com/en-us/products/siem-data-collection-log-management-platform/download，日数据量不大于750M的情况下可以免费使用1年。
Logger主要是满足日志的长期存储，快速检索，快速出具简单报表的需求，不具备真正意义上的实时分析的功能，它可以将日志分类分别设置最多6个存储组，每个存储组可以设置不同的保留期限以满足不同的日志存留需求。
Logger可以查询结构化和非结构化的日志，但关键字检索不支持非英文字符。
Logger号称数据压缩比为10:1，因此Logger本身的内置存储未必要很大，对于内置存储不足的情况，可以设置自动归档，将日志归档至外部的存储资源中。
Logger本身是个软件，ArcSight也可以硬件形式提供Logger Appliance，它按EPS划分规格，设备包括了Linux操作系统、基于Web的管理界面，适合一体化解决方案的用户。
Logger可以单独购买，购买时就会包含Connector的软件，但是建议同时购买FlexConnector的开发授权（不贵），以及ArcMC用于集中管理。
Logger大约半年左右会有一个新的大版本出现，本文发表前最新的版本是6.51。
图5：Logger 版本信息
（四）数据分析
ESM是ArcSight的真正核心，我认为当前在SIEM的实时关联分析领域它应该是排名第一的。
ESM本身包含了很多组件/模块，有些还是要单独付费的，以下就常见的做个简介：
Manager是整个ESM的核心，它是基于Java的处理软件，主要完成信息的实时关联、分析工作，其中包含19大类30多种小类的功能（ArcSight称之为Resource），Manager只能处理Connector发送来的规范了的结构化日志。
CORRE其实就是一个Logger的存储引擎，它具备Logger的所有关键功能，在6.0版本之前ESM使用的存储引擎是Oracle，但这种通用关系型数据库成为了整个ESM的性能瓶颈，因此现在新购ESM版本全是基于CORRE的，基于Oracle的ESM最高版本自2015年以来一直停滞在5.6，该模块无需单独付费。
Command Center是基于Web的ESM管理控制台，它设计的功能主要针对ESM的平台系统管理员、SOC的一线运维值班人员及日志源设备管理员，Command Center的Web界面相对比较简洁并且以查看功能为主，该模块无需单独付费。
Pattern Discovery是个单独付费的功能，它主要解决历史数据挖掘的问题，ESM Manager在实时关联分析上功能很强，但是对历史数据的挖掘能力就很差，因此ArcSight开发了这个模式发现的功能，此功能需要在ESM Console上使用，另外ArcSight还OEM了一个离线的模式发现软件AID（ArcSight Interactive Discovery），这个产品在中国大陆地区仅有极少数用户购买过，真正要用起来对分析员的功力要求非常高，在大数据技术没有出现前这等工具还有点意义，大数据工具越来越多、越来越成熟后这两个模式发现的功能/产品基本就没人需要了。
Solution & Use Case是需要单独付费的资源包，ESM实现的所有实时关联分析功能都是通过之前介绍过的19大类30多种小类的功能组合实现的，而Solution & Use Case就是ArcSight基于一些常见的合规性规范定制好的资源包功能组合，例如PCI、HIPPA、SOX，但实际上将这些资源包落地成符合本机构需求的功能也是需要耗费很多精力的，因此不是很建议购买。
此外ESM中还有2个可以单独付费激活的功能，Domain Field，尽管ESM预留了400个以上的字段给单条日志，但对于涉及业务日志分析的时候就有些不合适了，Domain Field就是允许客户在ESM中增加自定义的数据字段。Actor主要是和Oracle IDM或Microsoft AD集成使用，可以将身份管理系统中的账号属性全部自动、实时同步进ESM，可以实现越权操作的监视，但实际上要实现此功能对用户自身的安全管理要求很高，绝大多数用户完全没有进化到这个层级，因此这些功能在中国大陆地区没听说有谁买过。
ESM本身是个软件，ArcSight也可以硬件形式提供ESM Appliance，它按EPS划分规格，设备包括了Linux操作系统、基于Web的管理界面，适合一体化解决方案的用户。
ESM大约半年到一年左右会有一个新的大版本出现，本文发表前最新的版本是6.11c+Patch1。
图6：ESM 版本信息
之前说过ESM对于历史数据的分析是弱项，因此ArcSight在2017年发布了一个叫Investigate的产品，它从Event Broker中消费数据，使用Vertica列式存储数据库，号称可以在数秒内在10亿条记录中查询到结果，查询的语法支持人类自然语法，由于此产品很新且需单独付费，笔者也没有实际接触过，很难评价。
（五）系统操作和管理
Console是ESM的控制台，主要由安全分析员、Use Case开发人员使用，Console用户数量是需要单独计费的，当然目前只是技术上弹出个烦人的提示而已，还没有限制到无法登录的情况。
Command Center、Logger、Event Broker、Investigate都可以通过主流的浏览器访问进行信息查询及系统管理。
除非购买了Connector Appliance，否则每个Connector都需要单独维护，对于比较多Connector的环境这点就比较麻烦，因此建议购买ArcMC，它可以通过Web界面集中管理所有的Connector、Logger、Event Broker。
ArcMC可以单独购买，也可以作为ADP打包一起购买。
ArcMC大约半年左右会有一个新的大版本出现，本文发表前最新的版本是2.71。
图7：ArcMC版本信息
（未完待续）
往期阅读量最高文章推荐
工作篇：
生活篇
附注：
聂君，信息安全从业人员，十余年金融行业信息安全从业经历，默默无闻。好读书，不求甚解。性格开朗，爱好足球。
本订阅号文章是个人对工作生活的一些体验和经历分享，站在不同角度和立场解读会有偏差，见仁见智，不求正确统一，但求真、善、美。
利用工作生活之余的闲暇时间，我维护了“君哥的体历”公众号和“金融业企业安全建设”微信群，将我从业十余年的一些体验和经历分享出来。这种分享，我理解为也是一种“开源”精神，代码和项目开源很常见，体验和经历开源不多见，尤其是比较体系化的将如何在企业做安全建设的思路和实践开源，需要静下心来归纳总结提炼，注定本公众号不会“高产”，但我会坚持开源分享。
长按识别二维码，关注本公众号
-----------------------------------------
赞赏是认同或肯定，更是鼓励更多原创分享