炎凰数据推出新一代异构大数据即时分析平台，基于自主可控的云原生架构与分布式存储计算引擎，提供从数据导入、存储查询、关联分析到可视化告警的一站式服务。其独创“读时建模”技术，通过Schemaless SQL实现查询时动态解析，兼顾数据完整性与分析灵活性，支持动态引入内外部数据进行关联及AI生成式富化。该平台可满足智能运维、安全分析、业务洞察、合规审计、物联网等场景的“一份数据、多视角复用”需求，打破外部技术依赖，助力企业高效挖掘数据价值，满足性能、合规与供应链安全要求。
本方案所使用的产品YHP逻辑架构如下图所示：
YHP采用微服务架构，各主要功能以微服务形式体现，相互独立并且有清晰的调用关系，具备足够的健壮性和去耦合能力，其特点包括：
· 分布式可扩展：关键组件支持横向扩展，提升性能与高可用性。
· 全容器化部署：基于主流的容器编排工具进行部署与调度，具备故障自愈能力。
· 云原生兼容：可部署于各类基础设施环境（物理机、虚拟机、私有云/公有云），适应性强。
平台技术架构如下图所示：
使用数据采集工具DataScale可以将来自多种数据源的数据导入YHP，并支持在包括各种Linux版本、Windows的操作系统，以及x86和ARM架构的环境中部署。
在单机部署场景下，YHP所有服务组件运行在同一节点，该节点同时作为平台的master和worker节点，既负责平台的管理功能也负责运行平台的服务组件，平台功能仍然完备。
对于生产环境，需要使用至少三台服务器部署YHP集群，以满足服务和数据的高可用性要求。在集群部署场景下，YHP会自动将服务组件调度到各个节点运行，以实现节点间负载的平衡。对于三节点的YHP集群，三个节点同时作为平台的master和worker节点，既负责平台的管理功能也负责运行平台的服务组件；对于拥有更多节点的YHP集群，其他节点仅需作为平台的worker节点，负责运行平台的服务组件。YHP的服务组件以能满足高可用性要求的方式运行（同一服务组件存在多个运行实例，且各个实例运行在不同的服务器节点），支持节点级容灾，当一台服务器节点不可用时也不会对平台的功能造成影响。
基于过去以往的同类型项目替代应用监控软件建设项目的要求，在实施过程中可能存在以下实施难点：
· 数据接入情况复杂
对于大规模的同类型产品应用，通常会存在复杂的数据接入情况。数据的来源多种多样，可能包括但不限于通过网络端口采集数据、通过Splunk HEI采集数据、通过Splunk Forwarder采集数据等。梳理对接的数据源以及与数据应用的对应关系将会是一个繁杂的工作。此外，可能还会存在需要将Splunk中的历史数据导入应用监控软件的需求。
· 数据处理情况复杂
与众多数据来源相对应的是众多数据解析规则的处理，既包括写时数据处理，也包括读时数据处理。梳理数据解析规则，并且明确数据解析规则的处理阶段也将会是一项复杂的工作。
DataScale在数据采集层面提供了高度的灵活性与扩展能力，其采集器采用插件化架构，支持用户根据实际业务场景自由扩展。开发者可以使用 Shell、Python、Go、Rust 等语言编写可执行脚本，也可以直接编译为二进制可执行程序，无论是脚本还是编译产物均可作为采集器插件。
假设原有表只定义了10个字段，ETL过程会丢弃未定义字段。若后续要增加3个字段，历史数据无法自动填充，必须清空表并重新导入原始数据（前提是原始数据已保留），否则新增字段无法追溯历史。
读时建模：
读时建模可以保证原始数据全部保留，在数据写入时不预先定义数据结构，而是在数据查询时动态解析和结构化数据，因此不会对底层数据产生任何影响。随时新增字段时，不需要重新导入数据、删除字段时不需要考虑备份冗余数据，
故炎凰平台凭借其读时建模与开放的数据接入架构，无需在数据写入时进行复杂的预处理或强制统一格式，能够原生兼容通过网络端口、HEI 接口、Forwarder 等多种来源采集的异构数据，完整保留原始数据细节，从而大幅简化了对接多方数据源及梳理应用对应关系的繁杂工作；同时，平台支持高效的历史数据导入机制，能够将其余数据平台中的存量数据平滑迁移并纳入统一存储，避免了因数据源繁杂导致的数据孤岛问题。
沪公网安备31011502002642号
