人大金仓高级副总裁宋瑞:国产数据库践行者之路

 国产资源站     |      2021-05-08 22:17

  作为成立最早的国产数据库厂商,人大金仓经历了中国数据库产业从蛰伏蓄能到高速发展的过程,其发展实践在一定程度上代表了国产数据库的产业化之路。2020年,人大金仓在国产数据库关键应用领域销售套数占比第一,20余年的技术积淀和运营成果得到了市场层面的肯定,然而,行业核心技术缺乏、产业生态薄弱的痛点仍旧存在,面对未来广阔的市场前景,国产数据库如何确保高质量、可持续发展?近日,人大金仓高级副总裁宋瑞在国内网络安全大咖的系列专访——“我和我的网安之路”上,分享《国产数据库践行者之路》。

  国产数据库起步较晚,90年代末才真正实现产业化,与国外产业的发展历史相差近20年,加之早期国内的系统架构以国外产品为主,制约了国产数据库产品的使用范围。国产厂商过去一直在夹缝中生存,同时还面临着四座大山的压迫:一是技术的高山,数据库作为高技术门槛行业,国产厂商在成立之初都面临着技术发展上的难题;二是融资的雪山,企业的发展离不开资金的输入,融资上的艰难令业务的开拓变得举步维艰;三是竞争的火山,国产厂商不仅要从Oracle,SQL Server,DB2,MySQL等国外老牌数据库中争取到市场份额,还要面临日益激烈的国内竞争;四是市场的冰山,从产业发展角度而言我们的市场空间相对狭窄,市场客户对国产数据库的认可度有待提升,目前用户更多依赖国外的Wintel体系以及IOE架构,国产产品的应用环境相对恶劣。

  随着核高基项目的发展推进,国家加大了对国产基础软件的扶持力度,同时近两年IT架构的国产化发展加快,给予了国产数据库厂商很大的市场空间,有效解决了数据库行业在资金及市场上的难题。当前国产数据库行业迎来机遇期,我们正不断做大做强,从原来的学习跟跑,到局部并跑,未来将实现全面并跑乃至领跑。目前国产数据库已初步摆脱“四座大山”的禁锢,步入高速发展阶段,相关产品初露锋芒,在某些性能指标上已超越国外竞品,但在实现全面领先上仍要经历更长的发展过程,同时也需要更优良生态环境的配套建设。

  相对薄弱的生态建设是国产数据库乃至整个国产软硬件行业所面临的难题,国外数据库产品在近20年间长期占据国内市场主要份额,国内的标准体系规范大多围绕国外产品进行制定,在生态环境上的劣势拉大了国产产品与国外竞品间的差距,故为实现数据库产业的赶超,加快生态建设,构筑健康的本土化产品生态环境是当务之急。

  数据库的生态建设依据体系层级可分为如下几点要求:首先,要实现全行业产品的适配,尤其是标准、规范的制定,对不同业务系统的针对性适配,需要国产厂商共同协作、形成合力,共建产品级的联动生态,并运用POC测试等手段来保证功能与性能的稳定性。其次,应积极培育使用者生态,目前国内数据库的从业人员相对较少,且应用开发者更多针对国外数据库进行开发,对国产数据库的熟悉程度有待提升,国产厂商在产品配套开发培训上还需下功夫。同时厂商也应与高校积极合作培养下一代的数据库从业者,并建立培养认证体系。最后也是最为关键的,要完善数据库的研发生态,国内从事数据库技术研发的人员稀缺,缺乏对核心代码的研究,还未形成成熟的研发生态,在国际上发表论文的数量较少也侧面反映了这一问题。硬核能力是破局之道

  除了生态建设,数据库产品自身的硬核能力是影响行业发展的关键因素。如今用户对国外数据库产品仍存在依赖性,采用国产产品的积极性不高,根本原因在于产品能力上存在差距。打铁还需自身硬,国产产品在功能、性能、稳定性、安全性上要全面达到甚至领先于国际水平,仍需经历一个长期的追赶过程,目前虽初见成效,但从市场角度来看我们在产品应用与技术融合上还有许多需要追赶的地方。

  在具有成熟体系的数据库行业中推广国产数据库产品,需要借助新的功能与优势,另辟蹊径。随着应用场景的不断丰富,业务需求多样性的增加,数据库产品的种类也在不断增加,从关系型数据库到非关系型数据库种类繁多,集中式交易型数据库到分析型数据库,应用于工业生产领域的实时数据库、金融领域的分布式数据库,还包括专业领域上采用的图数据库,以及应用于对数据访问实时性要求特别高的场景的内存数据库。应用场景的巨大差异,使得一种数据库通常无法适用于所有业务系统,将来数据库产品会衍化出更多类型,为结构化数据,半结构化数据,非结构化数据的处理提供更具针对性的解决方案。同时随着云计算技术与业务的深度融合,用户业务系统的云架构也不尽相同。数据库行业在未来的云化能力以及对多云结构的支持上存在进步空间。在产品的差异化以及云上业务的支持上我们可以实现换道超车,这也是未来国产数据库的机遇和挑战。目前我们在某些新型数据库的场景应用上已有所突破,实现了对国外产品的超越领先。

  产品的差异化发展离不开新技术的加持,人工智能、区块链、分布式等新技术与数据库的结合已成为厂商的研发热点。新技术的运用能在具体项目中带来效率与经济上的优势。人大金仓的数据库产品在故障诊断与处理、数据迁移等方面都已开始应用人工智能技术,探索使用各种形式的增强分析,如高级分析,人工智能(AI)和机器学习(ML),在事务或流程中实现并发分析和交易处理。内存中计算(IMC)技术是增强交易的关键推动力。除了增强基于成本的查询优化外,AI和ML还用于自动化许多当前的手动管理操作,包括配置管理,弹性伸缩,存储,索引和分区以及数据库调整。基于现有使用情况数据,应用了AI和ML来调整操作并优化配置,从而提升安全性和性能。通过在数据库底层内置各种算法,大大减少了应用端的处理压力,提升数据库的智能化水平,为用户带来更加简明、迅捷的使用体验。

  技术的发展是呈周期的,新技术从形成到广泛部署应用通常会经历技术触发期、期望膨胀期、泡沫幻灭期、最后通过启蒙爬升期到达生产力高峰期。成熟的技术需要大量应用经验的积累,新技术是支撑数据库行业发展的根基,也是应对目前业务需求日益繁杂的基本保障,因此数据库行业只有通过长期的技术积累,才能产出更为优质的产品。未来数据库行业的新旧技术将相互借鉴、不断融合,技术层面的边界也会愈发模糊,新技术在应用上要从实际需求出发,才能获得长足发展与积淀。

  需求侧与产业侧是互为推动的,产业侧的新功能与新技术的出现若不为用户接纳则会失去实际价值。产品的开发最忌自娱自乐,依据用户业务需求来开发产品方能获得市场的认可。人大金仓非常关注需求侧的声音,注重考量用户在业务发展中所面临的问题,我们不局限于为用户解决现有问题和遗留问题,也会对已有系统、待建系统、改造系统乃至新建系统这四类系统做综合的分析和研判,为用户提供与业务高度契合的产品与方案,帮助解决未来业务发展过程当中可能会面临的瓶颈与问题。

  数据库作为一个高用户透明度的通用型基础软件,需与不同行业的业务属性进行结合。例如地理信息行业的GIS时空数据中包含时间信息与空间信息,具有单独的存储样式,通用型数据在GIS数据存取的支持和效率上存在缺陷,通过调整算法与实现方式来优化对异构数据的存储与查询,才能保证不同业务场景下数据库产品的服务质量。根据业务特点与属性改进产品底层技术、数据与模型算法,方可提升业务系统的效率与智能化,从而获得市场的青睐。

  数据作为一种资产,已经成为第五生产要素,数据安全的重要性不言而喻。数据库作为数据承载工具,如何在采存管用中保证数据的安全值得深究。从数据库本身而言,提升安全防护要从安全访问控制角度出发,关注如何防止数据的恶意访问、恶意篡改,保证数据资产的所有权、归属权和使用权。等保2.0以及网络安全法的出台也为信息系统中的数据安全管理提出明文要求。而随着云计算、大数据等技术的广泛应用,数据安全防护从原来的合规即可,进入到本质安全加固阶段,安全的内涵和外延也会相应改变,安全防护的高度已从个体安全上升到系统安全乃至更大范畴的生态安全。为迎合新的安全需求数据库应结合硬件、应用、数据,将安全技术组合起来形成整体安全防御体系。

  数据库产品目前已具备大量的技术与机制来保证数据安全,安全数据库在引入前置机、安全审计等措施来提供有效保障的同时也会导致数据访问效率降低。我们在安全与业务效率方面还需进行平衡,过分强调数据库产品的安全性或多或少会损失应用上的便捷性,根据数据重要性等因素进行安全与效率的取舍是保证业务稳定的关键。

  开源是一个大趋势,从国内外的数据库排名来看,开源产品的热度在不断上升。开源极大推动了行业产品技术的传播与使用,让开发者、从业人员以及全世界的爱好者可以站在前人的技术基础上不断往前推动数据库的技术发展。开源软件有效促进了国产数据库、操作系统等基础软件的发展,大量的国产厂商在借鉴开源的想法与思路以及相关优秀成果的基础上,进行转化、改进从而提升了自身产品的能力。

  作为数据库厂商以及从业者,在思想上应积极拥抱开源,同时也应正视开源中存在的问题。开源产品不同于商业化软件,在使用途径、应用效果、安全防护以及重要应用场景的支撑上存在诸多限制。部分开源技术由基金会掌控,同样会产生知识产权纠纷,乃至于出现法律问题,还需采用开源协议来调和知识成果共享与商业应用间的冲突,保障技术资源的流动。

  在拥抱开源的同时,我们也应积极回馈开源社区。国内从业者在开源上要更加注重奉献精神,只索取不付出是不可取的,在使用开源技术为研发助力的同时也要发现问题、指出问题并积极回馈才能实现开源社区的可持续发展。如今我国开源社区呈现良好的发展态势,但相比国际开源社区还处于学习跟跑阶段,形成自主强势的开源社区是整个行业应努力实现的目标。

  随着信创发展,在解决完一系列安全性问题后,在未来更广阔的泛信创时代,数据库乃至于整个IT行业的基础架构应得到重塑。对于国产数据库而言,我们要重新定义、产生、推动下一代引领国际标准的数据库基础架构,摆脱Wintel体系以及IOE架构的桎梏。人大金仓的定位是要做世界级的数据库产品与服务的提供商与领跑者,为实现这一目标我们会着力打造自身硬核能力,拼命扎根建设生态系统,为用户提供更可靠,更安全,更智能,更融合的数据库产品,解决多种业务环境下的性能、功能及安全问题,助力全国产化平台在市场上的广泛应用,重塑用户业务系统,从业务角度实现智能化运转,实现数据价值的最大化利用。

  在具有成熟体系的数据库行业中推广国产数据库产品,需要借助新的功能与优势,另辟蹊径。随着应用场景的不断丰富,业务需求多样性的增加,数据库产品的种类也在不断增加,从关系型数据库到非关系型数据库种类繁多,集中式交易型数据库到分析型数据库,应用于工业生产领域的实时数据库、金融领域的分布式数据库,还包括专业领域上采用的图数据库,以及应用于对数据访问实时性要求特别高的场景的内存数据库。应用场景的巨大差异,使得一种数据库通常无法适用于所有业务系统,将来数据库产品会衍化出更多类型,为结构化数据,半结构化数据,非结构化数据的处理提供更具针对性的解决方案。同时随着云计算技术与业务的深度融合,用户业务系统的云架构也不尽相同。数据库行业在未来的云化能力以及对多云结构的支持上存在进步空间。在产品的差异化以及云上业务的支持上我们可以实现换道超车,这也是未来国产数据库的机遇和挑战。目前我们在某些新型数据库的场景应用上已有所突破,实现了对国外产品的超越领先。

  产品的差异化发展离不开新技术的加持,人工智能、区块链、分布式等新技术与数据库的结合已成为厂商的研发热点。新技术的运用能在具体项目中带来效率与经济上的优势。人大金仓的数据库产品在故障诊断与处理、数据迁移等方面都已开始应用人工智能技术,探索使用各种形式的增强分析,如高级分析,人工智能(AI)和机器学习(ML),在事务或流程中实现并发分析和交易处理。内存中计算(IMC)技术是增强交易的关键推动力。除了增强基于成本的查询优化外,AI和ML还用于自动化许多当前的手动管理操作,包括配置管理,弹性伸缩,存储,索引和分区以及数据库调整。基于现有使用情况数据,应用了AI和ML来调整操作并优化配置,从而提升安全性和性能。通过在数据库底层内置各种算法,大大减少了应用端的处理压力,提升数据库的智能化水平,为用户带来更加简明、迅捷的使用体验。

  技术的发展是呈周期的,新技术从形成到广泛部署应用通常会经历技术触发期、期望膨胀期、泡沫幻灭期、最后通过启蒙爬升期到达生产力高峰期。成熟的技术需要大量应用经验的积累,新技术是支撑数据库行业发展的根基,也是应对目前业务需求日益繁杂的基本保障,因此数据库行业只有通过长期的技术积累,才能产出更为优质的产品。未来数据库行业的新旧技术将相互借鉴、不断融合,技术层面的边界也会愈发模糊,新技术在应用上要从实际需求出发,才能获得长足发展与积淀。

  需求侧与产业侧是互为推动的,产业侧的新功能与新技术的出现若不为用户接纳则会失去实际价值。产品的开发最忌自娱自乐,依据用户业务需求来开发产品方能获得市场的认可。人大金仓非常关注需求侧的声音,注重考量用户在业务发展中所面临的问题,我们不局限于为用户解决现有问题和遗留问题,也会对已有系统、待建系统、改造系统乃至新建系统这四类系统做综合的分析和研判,为用户提供与业务高度契合的产品与方案,帮助解决未来业务发展过程当中可能会面临的瓶颈与问题。

  数据库作为一个高用户透明度的通用型基础软件,需与不同行业的业务属性进行结合。例如地理信息行业的GIS时空数据中包含时间信息与空间信息,具有单独的存储样式,通用型数据在GIS数据存取的支持和效率上存在缺陷,通过调整算法与实现方式来优化对异构数据的存储与查询,才能保证不同业务场景下数据库产品的服务质量。根据业务特点与属性改进产品底层技术、数据与模型算法,方可提升业务系统的效率与智能化,从而获得市场的青睐。

  数据作为一种资产,已经成为第五生产要素,数据安全的重要性不言而喻。数据库作为数据承载工具,如何在采存管用中保证数据的安全值得深究。从数据库本身而言,提升安全防护要从安全访问控制角度出发,关注如何防止数据的恶意访问、恶意篡改,保证数据资产的所有权、归属权和使用权。等保2.0以及网络安全法的出台也为信息系统中的数据安全管理提出明文要求。而随着云计算、大数据等技术的广泛应用,数据安全防护从原来的合规即可,进入到本质安全加固阶段,安全的内涵和外延也会相应改变,安全防护的高度已从个体安全上升到系统安全乃至更大范畴的生态安全。为迎合新的安全需求数据库应结合硬件、应用、数据,将安全技术组合起来形成整体安全防御体系。

  数据库产品目前已具备大量的技术与机制来保证数据安全,安全数据库在引入前置机、安全审计等措施来提供有效保障的同时也会导致数据访问效率降低。我们在安全与业务效率方面还需进行平衡,过分强调数据库产品的安全性或多或少会损失应用上的便捷性,根据数据重要性等因素进行安全与效率的取舍是保证业务稳定的关键。

  开源是一个大趋势,从国内外的数据库排名来看,开源产品的热度在不断上升。开源极大推动了行业产品技术的传播与使用,让开发者、从业人员以及全世界的爱好者可以站在前人的技术基础上不断往前推动数据库的技术发展。开源软件有效促进了国产数据库、操作系统等基础软件的发展,大量的国产厂商在借鉴开源的想法与思路以及相关优秀成果的基础上,进行转化、改进从而提升了自身产品的能力。

  作为数据库厂商以及从业者,在思想上应积极拥抱开源,同时也应正视开源中存在的问题。开源产品不同于商业化软件,在使用途径、应用效果、安全防护以及重要应用场景的支撑上存在诸多限制。部分开源技术由基金会掌控,同样会产生知识产权纠纷,乃至于出现法律问题,还需采用开源协议来调和知识成果共享与商业应用间的冲突,保障技术资源的流动。

  在拥抱开源的同时,我们也应积极回馈开源社区。国内从业者在开源上要更加注重奉献精神,只索取不付出是不可取的,在使用开源技术为研发助力的同时也要发现问题、指出问题并积极回馈才能实现开源社区的可持续发展。如今我国开源社区呈现良好的发展态势,但相比国际开源社区还处于学习跟跑阶段,形成自主强势的开源社区是整个行业应努力实现的目标。

  随着信创发展,在解决完一系列安全性问题后,在未来更广阔的泛信创时代,数据库乃至于整个IT行业的基础架构应得到重塑。对于国产数据库而言,我们要重新定义、产生、推动下一代引领国际标准的数据库基础架构,摆脱Wintel体系以及IOE架构的桎梏。人大金仓的定位是要做世界级的数据库产品与服务的提供商与领跑者,为实现这一目标我们会着力打造自身硬核能力,拼命扎根建设生态系统,为用户提供更可靠,更安全,更智能,更融合的数据库产品,解决多种业务环境下的性能、功能及安全问题,助力全国产化平台在市场上的广泛应用,重塑用户业务系统,从业务角度实现智能化运转,实现数据价值的最大化利用。