Home

News and Insights

超AI说 | CDP落地难,如何解决数据治理和安全合规两大痛点?

超AI说 | CDP落地难,如何解决数据治理和安全合规两大痛点?
2021年11月25日

 

关于CDP落地的困难和瓶颈,一是如何降低CDP在数据治理过程当中的成本,提高数据治理的效率;二是,现在国内对于数据安全以及个人隐私保护的要求越来越高,对于我们的数据使用,或者对外的数据交换和数据集成的应用场景带来了非常明显的限制。

对于数据治理,很明显,不同的企业有不同的数据源,不同的数据源有不同的接入方式。比如说有些企业的接入方式既包含一些文件、SFTP,也包含一些API和Kafka的流式数据,或者从数据库里面直接拉。这其实对于我们数据接入的实施带来了一定的标准化的要求和困难。

即使是相同的数据类型,它的数据字段也是不一样的。以交易数据为例,统一的线上交易平台的交易数据可能是一样的,但不同企业线下交易数据的数据结构基本上都是不一样的。可能有一些企业会有门店ID,需要做一些门店的区分,其他企业可能没有门店的区分。这其实对于后续数据的业务理解和数据模型的建立其实也带来一定的困难。

在明略科技集团的标准CDP当中,对于这两点也有一些解决方案。

对于数据接入渠道纷繁复杂的这个问题,其实明略科技CDP在数据接入模块当中已经支持了市面上主流的一些数据接入渠道的适配,我们在数据治理或者数据接入实施的时候,就可以使用同一套的标准化、可视化的解决方案,来进行多渠道的数据接入。

对于数据的业务逻辑或者数据结构不标准的问题,明略科技在标准CDP当中预设了一些标准的数据模型。比如说交易的数据模型,会预设一些标准的交易上正常所带有的字段,比如说交易的渠道、门店、金额、消费者ID、SKU等信息,然后我们会基于标准的数据模型,指导项目上数据治理的实施同学,基于标准的数据模型进行数据处理,而不用做一些额外的定制化数据处理的思考,减少数据治理实施的成本。

随着《数据安全法》和《个人信息保护法》的不断更新和推出,市场上对于数据安全的要求越来越高。对于CDP来说,又主要有两大难点:一是怎么更好地保证CDP内的数据安全或者数据加密;二是在CDP内怎么进行更好、更合规的数据交换。

对于数据加密来说,一般行业内的要求基本上是要保证CDP在数据存储的时候支持静态加密,以及数据输出的时候支持可逆的或不可逆的加密,来保证数据储存和输出时的安全,以防意外。当我们数据被拖库的时候,能保证我们数据不会有敏感信息的泄露。

在CDP数据交换上和输出上的要求,一般行业内目前的解决方案主要是采用联邦学习或者诸如此类的同态加密的解决方案,在不泄露个人隐私或者个人信息的情况下,支持联合建模、联合的数据画像工作,来保证在合规的情况下进行一定的数据交换和数据集成。

数据合规交换方面,明略科技也有自己的一些实践。

目前我们跟头部的互联网电商平台有联邦学习的合作。具体来说,我们可以帮客户出一个人群包的特征数据,互联网的电商平台有消费者在电商平台的购买的特征数据,然后双方通过联邦学习的方式,明略科技使用具体的消费者CDP一方的数据做特征,电商平台使用它的购买行为做特征,结合双方的特征和标签,使用联邦学习同态加密的方式,在不泄露用户隐私的情况下拿到更好的模型效果。

最后再总结一下明略科技CDP在技术产品上的一些优势。

第一,明略科技CDP具有比较好的扩展性。

无论是数据量上的横向扩展性,还是同时支持数据的离线处理和实时处理的纵向扩展性。有了这些扩展性,明略科技CDP无论是现在还是将来,在业务场景和业务量不断拓展的情况下,都能比较好地支持业务。

第二,明略科技CDP服务了比较多的客户,对于重点功能模块都有比较好的业务积累。

比如说对于SuperID模块,明略科技CDP因为服务的客户比较多,知道如何保证更加好地进行ID打通,更好地保证打通的准确性和质量。对于数据治理模块,明略科技CDP知道如何更好地进行数据接入,如何标准化数据模型、沉淀业务知识,整体上降低数据治理的成本。

第三,明略科技CDP对于数据安全和数据合规上有非常好的实践和思考。

具体来说,明略科技CDP可以支持静态加密、数据输出上的加密。明略科技CDP也有一些数据交换上的实践,比如说联邦学习上的实践,来保证我们在行业不断合规、更加安全的情况下,业务还能比较好、比较合规地进行发展。

Related News
未来可期!明略科技再度入选CB Insights全球独角兽企业榜单

未来可期!明略科技再度入选CB Insights全球独角兽企业榜单

2023年04月17日

近日,全球知名市场数据分析机构CB Insights公布了全球独角兽企业榜单。据CB Insights统计,截至2023年1月,全球共有1,205家企业估值超过10亿美元,涉及人工智能、电子商务、金融科技等领域。明略科技作为人工智能领域具有强劲动力的企业,再度位列该榜单。

Learn More
明略科技入选CDP服务TOP榜单 | 优质CDP服务商特征解读

明略科技入选CDP服务TOP榜单 | 优质CDP服务商特征解读

2023年04月18日

该榜单聚焦国内CDP服务平台及服务商,从技术能力、服务能力以及平台效果等多个维度进行综合评估,明略科技凭借城成熟的CDP产品、丰富的成功经验以及完善的服务团队等优势,入选该榜单。

Learn More
持续提升数据安全能力!明略科技入选“卓信大数据计划”成员单位

持续提升数据安全能力!明略科技入选“卓信大数据计划”成员单位

2023年03月07日

近日,由中国信息通信研究院(以下简称“中国信通院”)主办的“2023数据安全发展大会”暨卓信大数据计划年度会议圆满落幕。会上,中国信通院公布了2023年“卓信大数据计划”成员名单,明略科技成为首批入选的企业,将进一步从数据安全合规指导、数据安全管理能力建设、数据安全技术等方面持续提升能力,为客户提供全方位的安全合规服务支撑和保障。

Learn More
超AI说 | CDP落地难,如何解决数据治理和安全合规两大痛点?
2021年11月25日

 

关于CDP落地的困难和瓶颈,一是如何降低CDP在数据治理过程当中的成本,提高数据治理的效率;二是,现在国内对于数据安全以及个人隐私保护的要求越来越高,对于我们的数据使用,或者对外的数据交换和数据集成的应用场景带来了非常明显的限制。

对于数据治理,很明显,不同的企业有不同的数据源,不同的数据源有不同的接入方式。比如说有些企业的接入方式既包含一些文件、SFTP,也包含一些API和Kafka的流式数据,或者从数据库里面直接拉。这其实对于我们数据接入的实施带来了一定的标准化的要求和困难。

即使是相同的数据类型,它的数据字段也是不一样的。以交易数据为例,统一的线上交易平台的交易数据可能是一样的,但不同企业线下交易数据的数据结构基本上都是不一样的。可能有一些企业会有门店ID,需要做一些门店的区分,其他企业可能没有门店的区分。这其实对于后续数据的业务理解和数据模型的建立其实也带来一定的困难。

在明略科技集团的标准CDP当中,对于这两点也有一些解决方案。

对于数据接入渠道纷繁复杂的这个问题,其实明略科技CDP在数据接入模块当中已经支持了市面上主流的一些数据接入渠道的适配,我们在数据治理或者数据接入实施的时候,就可以使用同一套的标准化、可视化的解决方案,来进行多渠道的数据接入。

对于数据的业务逻辑或者数据结构不标准的问题,明略科技在标准CDP当中预设了一些标准的数据模型。比如说交易的数据模型,会预设一些标准的交易上正常所带有的字段,比如说交易的渠道、门店、金额、消费者ID、SKU等信息,然后我们会基于标准的数据模型,指导项目上数据治理的实施同学,基于标准的数据模型进行数据处理,而不用做一些额外的定制化数据处理的思考,减少数据治理实施的成本。

随着《数据安全法》和《个人信息保护法》的不断更新和推出,市场上对于数据安全的要求越来越高。对于CDP来说,又主要有两大难点:一是怎么更好地保证CDP内的数据安全或者数据加密;二是在CDP内怎么进行更好、更合规的数据交换。

对于数据加密来说,一般行业内的要求基本上是要保证CDP在数据存储的时候支持静态加密,以及数据输出的时候支持可逆的或不可逆的加密,来保证数据储存和输出时的安全,以防意外。当我们数据被拖库的时候,能保证我们数据不会有敏感信息的泄露。

在CDP数据交换上和输出上的要求,一般行业内目前的解决方案主要是采用联邦学习或者诸如此类的同态加密的解决方案,在不泄露个人隐私或者个人信息的情况下,支持联合建模、联合的数据画像工作,来保证在合规的情况下进行一定的数据交换和数据集成。

数据合规交换方面,明略科技也有自己的一些实践。

目前我们跟头部的互联网电商平台有联邦学习的合作。具体来说,我们可以帮客户出一个人群包的特征数据,互联网的电商平台有消费者在电商平台的购买的特征数据,然后双方通过联邦学习的方式,明略科技使用具体的消费者CDP一方的数据做特征,电商平台使用它的购买行为做特征,结合双方的特征和标签,使用联邦学习同态加密的方式,在不泄露用户隐私的情况下拿到更好的模型效果。

最后再总结一下明略科技CDP在技术产品上的一些优势。

第一,明略科技CDP具有比较好的扩展性。

无论是数据量上的横向扩展性,还是同时支持数据的离线处理和实时处理的纵向扩展性。有了这些扩展性,明略科技CDP无论是现在还是将来,在业务场景和业务量不断拓展的情况下,都能比较好地支持业务。

第二,明略科技CDP服务了比较多的客户,对于重点功能模块都有比较好的业务积累。

比如说对于SuperID模块,明略科技CDP因为服务的客户比较多,知道如何保证更加好地进行ID打通,更好地保证打通的准确性和质量。对于数据治理模块,明略科技CDP知道如何更好地进行数据接入,如何标准化数据模型、沉淀业务知识,整体上降低数据治理的成本。

第三,明略科技CDP对于数据安全和数据合规上有非常好的实践和思考。

具体来说,明略科技CDP可以支持静态加密、数据输出上的加密。明略科技CDP也有一些数据交换上的实践,比如说联邦学习上的实践,来保证我们在行业不断合规、更加安全的情况下,业务还能比较好、比较合规地进行发展。

Tel

Business Hotline

4006-538-899

Reception

010-64303888
Online Consult

Scan QR code
Consult Now

Back to Top