5月18日，在华为中国生态大会上，行业数据集成技术实践白皮书重磅发布。华为中国区OpenLab部长赵雪山、华傲数据首席技术官陈立、宇信科技数据产品部总经理干从勇、新点软件战略和发展部副总经理殷利明、希嘉教育解决方案总监瞿彬、华为中国区OpenLab资深解决方案架构师张刚共同出席发布会。
发布现场图
OpenLab联合华傲数据、新点软件、希嘉、宇信科技等业界领先的数据集成合作伙伴，集合各方优秀产品与技术实践经验，共同编撰行业数据集成技术实践白皮书。该白皮书系统性地阐述了数据集成领域的技术发展趋势、各行业面临的问题与需求、对应的产品与解决方案，并通过真实技术案例，对数据集成技术在各行业的应用提供参考借鉴。
发布现场图
该白皮书沉淀了行业数据集成方案技术架构，可以覆盖绝大部分行业需求场景，为客户提供数据集成一揽子解决方案，行业客户可根据各自场景需求进行灵活技术选型。
行业数据集成方案技术架构
数据集成方案主要包括数据汇聚和数据存储，依据行业数据集成方案技术架构，各层技术特点如下：
●数据源：数据集成数据源来自内外部业务系统或IOT设备，包含结构化、非结构化、半结构化、流式数据、实时数据等不同数据类型的采集。
●数据汇聚技术：数据入湖方式主要有物理入湖和虚拟入湖两种，物理入湖指将原始数据复制到数据湖中，包含批量处理、数据复制同步、消息和流集成等方式，虚拟入湖指原始数据不在数据湖中进行物理存储，而是通过建立对应虚拟表的集成方式实现入湖，实时性强，一般面向小数据量应用。两种入湖方式相互协同，共同满足数据联接和用户数据消费需求，华为与合作伙伴针对不同数据源，不同行业场景，提供了丰富的数据工具支持完成数据汇聚。
●数据存储技术：数据汇聚后的存储平台，需根据数据结构类型、扩展需求、查询频次、响应速率、分析需求等进行选择，华为与合作伙伴支持关系型数据库、非关系型数据库、大数据集群、开源数据库等全场景数据存储需求。
主讲人华为中国区OpenLab部长赵雪山
批量数据集成技术在政府行业场景的实践
批量数据集成在政府行业是使用较多的集成技术，为更好支持政府进行社会管理与施政决策，大数据局\政数局牵头建设政务服务数据共享平台，首先要支持各委办局、各行业多源数据批量汇聚，集中入湖。智慧政务方案政务服务数据共享平台场景中，数据从前端共享平台经由集成平台到数据治理平台，完成各委办局业务数据的采集、共享交换、批量\增量同步、数据入湖、清洗融合等环节，完成数据入湖。该方案具备开发量小，充分利用伙伴数据集成与治理能力，通过DAYU进行整体数据同步与调度，服务层面责任分界清晰，易交付等特点。
OpenLab联合伙伴成果解决了两个关键技术问题：1、数据贴源层采用HIVE，由于其原生机制问题，不支持数据更新与删除，通过联合伙伴设计数据集成方案，解决数据同步一致性问题2、整体数据方案涉及多厂家，通过流程编排设计，解决多厂家的数据抽取动作的一致性问题。并沉淀了系列数据资产可用于指导其他行业其他项目的技术交付。该方案已在江苏省、河南省等多地项目中落地。
流式数据集成在金融风控场景的实践
随着风控等实时类业务多样化发展，对实时数据采集和处理提出了新的要求。实时业务数据有数据源多样、并发量大、处理频度高、单次事务数据量小等特点，根据业务时效性要求不同，华为联合宇信科技等伙伴，构建了能够适应实时、准实时、微批处理等多种时效性业务的实时数据集成技术方案。针对实际业务场景的数据源、数据量和时效性要求，通过集成华为MRS中分布式流处理组件，完成海量流式数据的采集、推送和处理。
OpenLab联合伙伴共同进行系统调优，将准实时场景下的数据采集系统时延从20s+缩短至1s。
混合集成技术在高校场景中的实践
在教育行业智慧校园场景中，为解决数据全生命周期管理的种种问题，华为联合希嘉构建智慧校园数据平台解决方案。由于校园信息化分散建设，导致各业务系统的数据不互通，且对外开放方式各异，因此该方案首先要实现的就是跨多个业务系统的数据混合集成场景。
在该方案中，伙伴通过使用华为应用与数据集成平台ROMAConnect，实现了数据库表、消息、API等的多种数据汇聚方式，并针对数据的不同类型（结构化、半结构化、非结构化）以及数据查询、分析的不同诉求（事务处理、分析处理），选择对应的数据库产品进行存储。对于部分非结构化数据，希嘉的相关产品也补足了能力，完善了整个方案。
发布现场图
数据集成需求随着业务场景不断变化，数据集成技术本身也在不断向前发展；为更好地满足各行各业各类数据集成需求，OpenLab将与合作伙伴继续紧密协作，在数据集成技术领域不断实践探索，也希望更多伙伴加入我们，在共同的方案与项目实践中沉淀资产，形成互信的技术联盟，推动完善行业标准，共同打造面向未来的行业数据集成方案，助力行业实现数字化转型。
发布现场图
预览时标签不可点收录于话题#个上一篇下一篇