超AI说 | CDP落地难,如何解决数据治理和安全合规两大痛点?
论坛时间:2021/11/25

Introduction

多源异构数据接入CDP,如何标准化?信息安全监管越来越规范,CDP如何保障数据安全?

Reivew

Details

关于CDP落地的困难和瓶颈,一是如何降低CDP在数据治理过程当中的成本,提高数据治理的效率;二是,现在国内对于数据安全以及个人隐私保护的要求越来越高,对于我们的数据使用,或者对外的数据交换和数据集成的应用场景带来了非常明显的限制。

对于数据治理,很明显,不同的企业有不同的数据源,不同的数据源有不同的接入方式。比如说有些企业的接入方式既包含一些文件、SFTP,也包含一些API和Kafka的流式数据,或者从数据库里面直接拉。这其实对于我们数据接入的实施带来了一定的标准化的要求和困难。

即使是相同的数据类型,它的数据字段也是不一样的。以交易数据为例,统一的线上交易平台的交易数据可能是一样的,但不同企业线下交易数据的数据结构基本上都是不一样的。可能有一些企业会有门店ID,需要做一些门店的区分,其他企业可能没有门店的区分。这其实对于后续数据的业务理解和数据模型的建立其实也带来一定的困难。

在明略科技集团的标准CDP当中,对于这两点也有一些解决方案。

对于数据接入渠道纷繁复杂的这个问题,其实明略科技CDP在数据接入模块当中已经支持了市面上主流的一些数据接入渠道的适配,我们在数据治理或者数据接入实施的时候,就可以使用同一套的标准化、可视化的解决方案,来进行多渠道的数据接入。

对于数据的业务逻辑或者数据结构不标准的问题,明略科技在标准CDP当中预设了一些标准的数据模型。比如说交易的数据模型,会预设一些标准的交易上正常所带有的字段,比如说交易的渠道、门店、金额、消费者ID、SKU等信息,然后我们会基于标准的数据模型,指导项目上数据治理的实施同学,基于标准的数据模型进行数据处理,而不用做一些额外的定制化数据处理的思考,减少数据治理实施的成本。

随着《数据安全法》和《个人信息保护法》的不断更新和推出,市场上对于数据安全的要求越来越高。对于CDP来说,又主要有两大难点:一是怎么更好地保证CDP内的数据安全或者数据加密;二是在CDP内怎么进行更好、更合规的数据交换。

对于数据加密来说,一般行业内的要求基本上是要保证CDP在数据存储的时候支持静态加密,以及数据输出的时候支持可逆的或不可逆的加密,来保证数据储存和输出时的安全,以防意外。当我们数据被拖库的时候,能保证我们数据不会有敏感信息的泄露。

在CDP数据交换上和输出上的要求,一般行业内目前的解决方案主要是采用联邦学习或者诸如此类的同态加密的解决方案,在不泄露个人隐私或者个人信息的情况下,支持联合建模、联合的数据画像工作,来保证在合规的情况下进行一定的数据交换和数据集成。

数据合规交换方面,明略科技也有自己的一些实践。

目前我们跟头部的互联网电商平台有联邦学习的合作。具体来说,我们可以帮客户出一个人群包的特征数据,互联网的电商平台有消费者在电商平台的购买的特征数据,然后双方通过联邦学习的方式,明略科技使用具体的消费者CDP一方的数据做特征,电商平台使用它的购买行为做特征,结合双方的特征和标签,使用联邦学习同态加密的方式,在不泄露用户隐私的情况下拿到更好的模型效果。

最后再总结一下明略科技CDP在技术产品上的一些优势。

第一,明略科技CDP具有比较好的扩展性。

无论是数据量上的横向扩展性,还是同时支持数据的离线处理和实时处理的纵向扩展性。有了这些扩展性,明略科技CDP无论是现在还是将来,在业务场景和业务量不断拓展的情况下,都能比较好地支持业务。

第二,明略科技CDP服务了比较多的客户,对于重点功能模块都有比较好的业务积累。

比如说对于SuperID模块,明略科技CDP因为服务的客户比较多,知道如何保证更加好地进行ID打通,更好地保证打通的准确性和质量。对于数据治理模块,明略科技CDP知道如何更好地进行数据接入,如何标准化数据模型、沉淀业务知识,整体上降低数据治理的成本。

第三,明略科技CDP对于数据安全和数据合规上有非常好的实践和思考。

具体来说,明略科技CDP可以支持静态加密、数据输出上的加密。明略科技CDP也有一些数据交换上的实践,比如说联邦学习上的实践,来保证我们在行业不断合规、更加安全的情况下,业务还能比较好、比较合规地进行发展。

Tel

Business Hotline

4006-538-899

Reception

010-64303888
Online Consult

Scan QR code
Consult Now

Back to Top