服务热线:010-88332491
010-88332493
首页 > 专题图片

音视频存储负荷沉重 如何轻装上阵

发布日期: 2017-08-04   作者:樊红敏  浏览次数:  来源:《公共采购》杂志/公共资源网

  公共资源交易以信息化为支撑,随着交易量的不断增大,产生的数据量也越来越庞大,各地公共资源交易机构面对快速而来的海量数据,未免有些准备不足。同时,随着技术的进步,运用大数据、云计算等手段使公共资源交易数据价值得到提升。尤其是国家对公共资源交易重视程度的提升和监管力度的加大,也使得如何发挥大数据在公共资源交易监督管理方面的作用问题日益凸显。

  目前,公共资源交易数据存储有哪些相关政策和规定;各地公共资源交易机构在存储方面有哪些需求,面临哪些困难;都采取了哪些存储方式,各种存储方式的优劣是什么?针对这些问题,本期专题采访了贵州、武汉、广州、合肥、成都、珠海等地交易机构。

  存储政策

  公共资源交易数据是反映公共资源交易活动的重要记录,在保障交易公平公正方面起着重要的作用。 针对公共资源交易数据存储,国家和省市层面制定了许多相关法律、法规及制度。

  从国家相关制度法规层面来说,《招标投标法》《政府采购法》《档案法》《公共资源交易平台管理暂行办法》《政府采购法实施条例》等国家层面相关法律法规均对公共资源交易、政府采购数据存储做出了相关规定,包括存储的年限、内容、方式、安全要求等。

  《政府采购法》第四十二条规定,采购人、采购代理机构对政府采购项目每项采购活动的采购文件应当妥善保存,不得伪造、变造、隐匿或者销毁。采购文件的保存期限为从采购结束之日起至少保存十五年。该条第二款明确,采购文件包括采购活动记录、采购预算、招标文件、投标文件、评标标准、评估报告、定标文件、合同文本、验收证明、质疑答复、投诉处理决定及其他有关文件、资料;《政府采购法实施条例》第四十六条规定,政府采购法第四十二条规定的采购文件,可以用电子档案方式保存。《公共资源交易平台管理暂行办法》第十七条规定,交易服务过程中产生的电子文档、纸质资料以及音视频等,应当按照规定的期限归档保存。第二十八条规定,公共资源交易平台和有关行政监督管理部门在公共资源交易数据采集、汇总、传输、存储、公开、使用过程中,应加强数据安全管理。涉密数据的管理,按照有关法律规定执行。另外,《招标投标法》《招投标法实施条例》对交易存档也有相关规定。

  从省市相关法规制度层面来说,许多省市地区也出台了公共资源交易存储方面的法规办法,如广东省、安徽省、福建省、北京市、青岛市都出台了政府采购项目档案管理暂行办法。另外,一些省市如广东省、云南德宏州还制定了公共资源交易电子文件管理暂行办法、公共资源交易中心交易档案管理办法等相关制度和办法。更多的省市是对公共资源交易、政府采购数据存储做了相关制度性规定。

  其中《安徽省政府采购项目档案管理暂行办法》规定,政府采购项目档案的保管期限定为永久和定期两种。属于政府采购招标项目,或者有重要意义的采购项目,需长久查考利用的文件材料,列为永久保管。属于政府采购非招标项目,在较长时期内有查考利用价值的文件材料,保管期限为15年。招标文件的副本及未中标文件作为资料保存2年。《德宏州公共资源交易中心交易档案管理办法(暂行)》规定,交易档案管理人员应遵守国家《保密法》,划分招投标档案密级和保管期限。建设工程交易档案保管期限原则上应保存10年,政府采购交易档案保存期限为15年,产权交易档案保管期限分为永久、10年、5年。其中国有固定资产处置、国有企业股权转让、国有土地使用权交易、采矿权探矿权交易以及具有较大社会影响的资本流动交易档案,保管期限定为永久;属于产权转让的典型案例档案,保管期限定为10年;反映国有流动资产处置的一般交易档案,保管期限定为5年。

  各地数据存储相关规定

  成都市公共资源交易服务中心对电子交易平台产生的业务数据以及音视频数据都进行了存储,根据业务类型的不同,其保存年限也不同。例如,土地交易数据要求长期保存;政府采购数据要求保存15年;工程建设数据要求保存5年。成都交易中心的业务数据在阵列里永久保存,有同城异地灾备;音视频数据则用蓝光光盘进行刻录保存、归档,理论保存时间可以达到上百年。

  安徽合肥公共资源交易中心存储内容主要是交易过程中产生的各类数据,存储年限中音视频目前是5年,交易数据是15年。安全性方面,在物理层面实现了双机双活,逻辑层面实现了访问权限控制。

  珠海市公共资源交易中心尚未在存储管理上有文件性的规定,但是在实际操作过程中,有以下要求:存储年限方面,开标评标监控视频类的存储保存6个月;电子招投标过程数据5年,目前实际情况是长期保留;安全性方面,等级保护二级要求,明年计划做三级。

  贵州省公共资源交易中心、广州市公共资源交易中心在数据存储方面没有做具体规定,都是按照国家相关法律法规执行。

  存储方式优劣对比与各地的选择

  存储不仅仅是对数据的存档保存,也需要能够方便地查询调阅,同时,由于部分数据较为敏感,所以对安全性要求较高;由于使用率高,对稳定性和效率要求也很高;另外,由于对存储需求量较大,所以单位成本要求要低。目前各地公共资源交易中心在选择存储方式方面也各有不同,有的交易机构主要采用传统的存储方式,有的地区已经“上云”,即使使用传统存储方式,各地的侧重方式也有差别。

  各种数据存储方式在成本、效率、安全性等方面各有优劣。经市场调研发现,光盘方式存储的特点是保存方便,价格相对较低,存储时间较长,可靠性较高,但方式较为原始,不够灵活,检索查询不方便。光盘存储主要用于较长时间的数据存储;SAN存储稳定性好、速度快、安全性高,但是成本较高;NAS存储成本较低、容量大,但是占用网络带宽较大。

  云存储特点是方便灵活,能提高资源的利用率,降低维护成本,方便数据检索查询和使用,不足方面主要是对安全方面的顾虑,公共资源交易存在部分敏感信息,对业务数据安全性要求较高高;云存储按使用量、使用时长付费,费用相对较高,如,一个项目按保存15年算,采用光盘存储,15年中只需投入两三次,而云存储需要每年付费,叠加后费用很高;此外,视频数据的上传下载,对带宽消耗较大。

  云储存和传统存储相比,主要具有服务专业化、管理智能化、使用高效化等优势。专业化方面,云存储供应商将存储作为一种服务向市场提供,在存储、上传、下载、使用方面都可以做得更精细,使用单位不需要IT硬件投入和维护,减少了设备扩容、升级、换代、维护等压力。智能化方面,云存储供应商通过虚拟化技术,管理所有存储资源,弹性分配存储空间,解决了传统存储方式扩容周期慢、复杂等问题,也提高了资源使用效率,避免资源闲置。高效化方面,云存储能够实现自动分配空间、使用负载均衡等,可直接通过互联网访问,无论是管理还是使用,均很便捷。

  各地采取的存储方式

  成都交易中心目前使用的主要是磁盘阵列、硬盘录像机、光盘等方式。业务数据采用的是磁盘阵列双备份,音视频采取的是磁盘阵列和硬盘录像机双备份,超过半年的数据刻录光盘。

  贵州省交易中心有几大系统平台,省级公共资源交易平台部署在本地,数据量大,要求存储时间长,采用的是磁盘阵列+光盘存储。全省公共服务平台、省医药集中采购平台部署在云上贵州,存储数据量相对较少,采用的是云盘存储。

  珠海交易中心目前自建机房,对于应用及数据库采用了SAN的存储方式。对于招标投过程中的相关附件采用了文件系统存储。

  安徽合肥交易中心主要是SAN存储和NAS存储。

  广州交易中心目前采用的存储方式包括SAN存储、NAS存储、IP-SAN存储等方式,也采用了云存储方式。

  存储需求与困难

  公共资源交易数据有文本、图片、音频、视频等多种形式,有结构化的、非结构化的数据;有敏感数据、一般数据;有静态数据、动态数据等。这些数据大致可以分为三类:活动交易数据,如开评标数据、评委抽取数据、行业监管数据、公示公告数据、电子见证数据、交易过程中的音视频监控数据等。业务档案数据,如交易活动完成后的电子见证数据、音视频监控数据等。基础索引数据,如信用信息数据、交易主体数据、专家库数据、交易场所和机构数据等。

  不同类型数据面临的不同问题。活动交易数据存储面临性能和安全问题。在各类交易活动中,不同业务平台均需对交易数据进行频繁读写,同时交易系统的交易数据还需要同国家、省市、行业监管等不同系统进行同步,因此对存储的性能要求高,其吞吐量是否满足快速响应需求,对整体平台使用体验影响较大。在交易过程中,除专家评审等环节外,数据的产生、传递和变更全程不允许人为干预,数据存储需要的安全性较高。

  业务档案数据存储面临空间需求大和查询资源占用高问题。一方面,对于数据保存时间,相关法律法规和各行业标准均有各自要求。另一方面,由于查询调阅操作的范围不确定,难以预处理,因而查询时会占用大量系统资源,影响平台的稳定性。

  基础索引数据存储面临数据共享问题。在异地评标及第三方平台数据交换过程中,经常需要共享此类数据,需要常态化的数据共享通道。

  各地的存储需求和问题

  成都交易中心对存储的基本要求是容量足够、安全稳定、高效便捷等。存储容量要能够满足数据量不断增长的需求,但又不能出现大量资源闲置浪费;存储安全要能够满足防攻击、防病毒、防泄密、防篡改、防丢失等要求,但又不能以大幅降低使用效率为代价;存储效率要能够满足速度快,使用便捷,支持多终端,具有良好的用户体验等,但又不能忽略安全保密方面的问题。目前,遇到的问题主要还是存储容量和使用效率。例如,音视频储存需要占用大量的存储容量,建设的磁盘阵列容量为480T,也只能保存一年的音视频数据。将历史数据刻录为光盘保存后,后期查询使用又不太便捷。

  贵州省交易中心在存储方面存在诸多难题。首先,存储介质容量需求很大,仅开、评标音视频数据每月都有十几个TB,一年上百个TB,且数据的转存、保管都需要花费很大的人力物力。其次,数据检索查询、二次使用不方便。由于磁盘阵列存储空间有限,只能短期存储,需要将磁盘阵列存储的数据转存至光盘,长期保存,而光盘存储的是零散的项目数据,要查询某个数据或使用某个数据时,需要在繁多的光盘中去查找,非常不方便。最后,经费困难。长期保存大量的数据,不但需要购买大量的存储介质,而且管理大数量的存储介质也还要花费大量的成本,故需要的经费较大。

  珠海交易中心在存储的异地备份、实时监控、日常管理等方面存在专业人员不足的问题。另外,要建立起一个完善的数据存储的管理和运行机制需要高投入,珠海交易中心同样也面临无法支撑数据管理运行高投入的问题。

  安徽合肥交易系统每天在线交易的项目达到一二百个,随着全流程网上招投标的全面铺开,数据量增长非常快,每周产生的数据达到200G以上,每年产生的数据在12T左右,目前的存储容量已经不能足业务实际需求,急需扩容或寻找新的存储方案。安徽合肥交易中心监控系统的数据更加庞大,目前配置的存储容量约为2P,而每年产生的音视频数据约为400T,目前的容量只能够满足5年的需求,也需要扩容或寻找新的存储方案。

  面对公共资源交易数据存储现状与困难,政府方在积极筹谋,企业方也在摩拳擦掌,相信随着技术创新和发展,未来市场上供大家选择的存储方式将会不断增多,应对公共资源交易大数据时代数据存储准备,必将有备而无忧。

  数据存储解决方案:

  混合云解决武汉存储难题

  结合公共资源交易数据存储方面面临的现状和问题,武汉建设工程交易中心提出了系统的解决思路和方案。

  解决思路

  管理角度:主要考虑两方面问题。首先,消除信息孤岛,使各类数据有机结合,从巨量信息碎片中搭建价值模型,使“死的”数据成为“为社会服务”的数据资源;其次,统筹调配,为不同数据存储配置适合的资源,保持各类基础资源都能得到有效利用。

  技术角度:不同类型的数据之间,存在相互包含关系,也存在相互包含关系。如电子见证数据中部分包含了开评标数据、音视频监控数据等;活动交易数据,在交易活动结束后可转换为业务档案数据。

  目前各类数据存储,处于紧耦合关系,需要去耦合、分类建立标准化的数据服务平台,来满足管理需求,来为应对大数据做准备。

  经济角度:海量数据存储成本问题最为紧迫,如“业务档案数据”的增量巨大。一方面需要有效手段降低初次投入成本,以及后续拥有成本;另一方面,又需要提高查询性能和扩展性。

  安全角度:首先,信息安全,需建立安全的数据交换通道,使数据信息能常态化地在不同层级平台之间共享。其次,安全管理,对不同类型数据进行分级分类存储,如“活动交易数据”必须保持最高安全级别。最后,介质安全,通过有效的备份容灾手段,降低数据丢失风险。

  可持续性:分为两个方面,首先,适应今后业务发展,如对不同业务平台是否都能良好适应,对新技术落地是否提供友好支撑等;其次,能满足日益增长的数据存储需求。

  混合云解决方案

  通过将数据去耦合化,对数据进行分类存储。将实时性、安全性要求较高、与本地应用频繁交互的“活动业务数据”存储在本地私有云上。一方面,可数据流转环节,提高性能;另一方面,在本地相对封闭的环境中流转,降低安全风险。将数量体积大、交互性低、查询调阅消耗资源巨大的“业务档案数据”,存储在公有云上。利用公有云的低成本、高性能、按需购买的特性,满足该类需求。“基础索引数据”可在公有云和私有云同时存储。其数据体积小、变动频率低,多数可异步存取。可通过互联网服务、结合安全认证手段,实现共享。

  此外,混合云的数据存储方式,还可方便未来政务信息资源共享需求,以及来自社会公众的生产研究等需求,如云端武汉、全市统一信用信息库等。使公共资源交易数据资源最终不仅为本行业、本单位的“大数据”服务,也逐步实现为全社会“大数据”服务。

  作者:武汉市建设工程交易中心信息管理部 温照松

附件:文件名文件名文件

Tags:

相关资讯

    暂无相关内容!