「技术分享」TSINGSEE青犀视频云存储架构的设计和特点

在流媒体领域,云边端融合是指云计算(云服务)、边缘侧、终端三者相互合作、互相渗透的智慧物联网部署方式,这是AI安防市场发展的主流方向。随着万物互联时代的到来,云边端协同发展也成为安防视频行业厂商的重要布局。

对于TSINGSEE青犀视频来说,云计算服务包括了目前已经存在的视频智能云服务EasyDSS、EasyGBS、EasyCVR、EasyRTC等视频平台;边缘计算则主要依托于网关设备来完成,包括EasyNVR边缘计算网关、EasyNTS上云网关、EasyCVR智能边缘网关;终端则是RTMP推流摄像头、单兵设备和4G布控球等设备。

众所周知,流媒体服务器是支撑视频播出的基础系统,具有视频转码、视频直播、视频点播等视频能力。随着5G、物联网等新兴技术的推动,互联网数据呈指数增长。在安防监控领域也是如此,在新技术的促进下,视频监控技术朝着规模化、集中化、高清化和智能化的方向快速发展,随之而来的是海量视频数据的存储挑战。在视频监控的整体方案中,视频数据的存储也是整个方案的重点之一。

本文我们从技术的角度,和大家一起分享TSINGSEE青犀视频在视频监控领域,关于视频云存储的技术架构和特点。

一、建设意义

TSINGSEE青犀视频云存储技术采用分布式文件系统、分布式数据库实现统一的存储架构,保证了系统的扩展性、可用性和性能。同时结合各行业、各场景的业务应用,需要为视频应用定制一套适用于视频应用的存储系统。视频云存储的优势在于视频资源的有效管理和访问,同时支持海量小文件的高效存储。

二、如何建设

通过引入云存储管理模块,融合统一存储架构,可提升存储中心的灵活性和可靠性,并且提升对存储资源用量的监控和生命周期管理。视频云兼容多种存储设备,采用分布式和虚拟化技术将原有的孤立存储设备纳入统一的存储网络环境中,使网络内所有服务器都能平等的共享存储资源,实现存储系统的最大化利用率。

采用云存储技术后,原有的本地存储将整合到统一的存储网络中,通过网络系统的扩展,可以进一步实现广域网内存储资源的共享。采用分布式共享存储体系,所有网络存储资源均可以被网络内的计算节点共享,当存储资源不足时,仅需要添加存储节点到存储网络中,所有的计算节点就能够快速的识别并使用新添加的存储空间,满足业务扩展需求。

在视频存储中,存储的内容分为结构化数据和非结构化数据,结构化数据采用分布式数据存储;而非结构化数据(例如视频、图片、文本、特征等)存储在分布式文件系统中。下图为视频云架构设计:

三、云存储技术方案

1、存储物理结构

TSINGSEE青犀视频云将有效的资源统一管理,并按照实际需求从逻辑上进行分割,按照需要分配给各个部门、工作人员以及功能系统使用。逻辑上分配的资源只有在使用的时候才会实际分配,不使用的时候会自动回收,实现资源的有效利用。下图为视频云多业务系统共享视频云存储示意图:

2、分布式文件系统

TSINGSEE青犀视频云存储采用的分布式文件系统是Scale-Out存储解决方案,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。分布式文件系统借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计,可为各种不同的数据负载提供优异的性能。

分布式文件系统摆脱原有独立、高成本的封闭存储系统,能够利用普通廉价的存储设备来部署可集中管理、横向扩展、虚拟化的存储池,存储容量可扩展至TB/PB级。分布式文件系统主要特征如下:

1)弹性存储系统(Elasticity)

存储系统具有弹性能力,意味着企业可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源,而不需要中断系统运行。视频云存储允许动态增删数据卷、扩展或缩减数据卷、增删存储服务器等,不影响系统正常运行和业务服务。

2)线性横向扩展(Linear Scale-Out)

线性扩展对于存储系统而言是非常难以实现的,通常系统规模扩展与性能提升之间是LOG对数曲线关系,因为同时会产生相应负载而消耗了部分性能的提升。横向扩展(Scale-Out)通过增加存储节点来提升整个系统的容量或性能,这一扩展机制是目前的存储技术热点,能有效应对容量、性能等存储需求。

目前的分布式文件系统大多都具备横向扩展能力。视频云存储是线性横向扩展架构,它通过横向扩展存储节点即可以获得线性的存储容量和性能的提升。因此,结合纵向扩展GlusterFS可以获得多维扩展能力,增加每个节点的磁盘可增加存储容量,增加存储节点可以提高性能,从而将更多磁盘、内存、I/O资源聚集成更大容量、更高性能的虚拟存储池。

TSINGSEE青犀视频云存储利用三种基本技术来获得线性横向扩展能力:

  • 消除元数据服务;
  • 高效数据分布,获得扩展性和可靠性;
  • 通过完全分布式架构并行化获得性能的最大化。

3)高可靠性(Reliability)

与大多数分布式文件系统类似,视频云存储可以构建在普通的服务器和存储设备之上,因此可靠性显得尤为关键。视频云存储采用了多种技术来实现这一设计目标。

首先,它假设故障是正常事件,包括硬件、磁盘、网络故障以及管理员误操作造成的数据损坏等。视频云存储设计支持自动复制和自动修复功能来保证数据可靠性,不需要管理员的干预。

其次,视频云存储利用了底层文件系统磁盘文件系统的日志功能来提供一定的数据可靠性。

再次,视频云存储是无元数据服务器设计,不需要元数据的同步或者一致性维护,很大程度上降低了系统复杂性,不仅提高了性能,还大大提高了系统可靠性。

视频云存储相比于其他云存储系统具备以下几个特性:

  • 无源节点设计,相比于单元节点设计的文件系统(例如Hadoop中HDFS)没有单节点故障(当主节点异常则整个系统都不可用)。
  • 文件系统中内嵌视频帧索引技术,天生具备视频点播、调阅、任意切片等功能。
  • 支持海量文件存储,既可以保证大文件访问的高吞吐量,又可以保证小文件访问的高I/O能力。其他的文件系统(以Hadoop的HDFS为例)要么对于大文件有较好特性,要么对小文件支持的比较优秀,同时单节点的文件系统无法支持过多的文件数量,超过千万级的文件数量就比较困难了。
  • 针对资源中心,新旧存储通过异构存储虚拟化设备实现存储资源的大整合,统一为业务提供存储空间服务。
  • 利用数据同步设备实现两资源中心云存储资源的实时同步,建立双活数据中心,当基础设备出现故障,业务能保持不中断,继续提供服务。
  • 同时两地资源中心分别通过备份存储设备建立备份系统,为数据保留多个副本,保证数据的安全性。

4)大文件存储

针对视频文件应用的特殊性,在基础文件系统上建立了视频文件系统,对视频文件进行流化索引处理。可以为视频侦察分析提供精确的视频流定位检索等服务。技术特点如下:

  • 自动流化视频文件,对上传的视频文件自动识别格式,自动进行流化建立视频流索引,索引信息包括帧类型、帧格式、时间戳、在文件中的偏移等。
  • 自定义流化索引,支持客户端自主对文件进行流化,需要客户端按照特定的格式为视频文件上传流化索引数据。对一些服务端暂时无法支持自动流化的文件这一点很重要。
  • 支持标准和主流厂商的视频文件格式,可以支持标准H264和市场主流厂商(如海康、大华等)格式的文件,还可以以组件方式灵活扩展。
  • 精确定位视频帧,可以对视频帧进行快速精确定位,精确到具体的某一帧。

5)小文件存储

小文件系统是专门为小文件设计的一种存储系统,系统采用文件打包的方式将若干个小文件打包成一个较大的文件。文件打包会大大降低文件的数量,从而提升文件操作的速度,同时也降低了底层文件系统的压力。采用文件打包的方式会增加文件访问的复杂度,但相比于海量文件数量带来的影响要小得多。

XCFS小文件系统只是代表XCFS具备存储小文件的能力,并采用多种机制保证文件的访问效率和数据安全。而XCFS选择何种机制完全有XCFS自身决定,用户根本感觉不到。技术特点如下:

  • 透明打包处理,服务端会将存入的文件按照特定的算法存入到一个大文件包中,并且会对文件包中的所有文件建立索引机制,在读取文件时文件包对用户是透明的,只需以原来的小文件的名称为参数进行读取,服务端会依据文件包中的索引为用户找到文件在包中的具体位置。
  • 客户端打包上传,由于小文件通过网络单独上传会导致网络和磁盘的I/O次数都过多,影响性能。小文件系统可以由客户端自行将要上传的小文件打包成一个文件包后上传到服务端,客户端在打包时只需遵循特定的规则后,服务端即可识别和管理这个文件包。这种方式大大的减少了I/O次数,对网络和磁盘的I/O性能都有很大地提高。
  • 灵活的文件包管理提供了灵活的文件包管理,支持文件包的追加和删除小文件,合并两个文件包,在文件包之间迁移文件等。
  • 专有小文件接口,这些接口利用小文件系统的特性,可以高效的访问指定文件,同时降低系统自动识别小文件带来的负担。

大、小文件的存储结构图如下所示:

云存储、云计算和大数据相关技术已经对安防行业,特别是视频监控行业,形成了深刻的影响,实现了重大的推进作用。TSINGSEE青犀视频基于音视频流媒体领域多年的经验积累和研发技术,可为用户提供多元化的视频应用场景解决方案。如果感兴趣,欢迎关注我们的更新。

与苹果iCloud竞争?微信拟推出聊天记录付费云存储服务

【侨报网综合讯】消息人士透露,微信将在中国提供付费云存储服务,直接与科技巨头苹果公司的iCloud业务竞争。

微信图标。(图片来源:微信官网)

北京《中国日报》5日报道,消息人士介绍,微信准备每年向用户收取此类服务的费用。苹果系统(iOS)用户的价格很可能在每年180元(人民币,下同),安卓系统(Android)用户则为130元,但该费用具体可以存储多大容量的数据尚未得到确定。

消息人士分析说,即使只有10%的微信用户为此类服务付费,云存储服务也将成为一笔可观的收入来源。根据腾讯第二季度财报,截至6月底,微信在全球拥有12.5亿月活跃用户。知情人士透露,腾讯一直在积极推进该项目,并已进入上线的最后阶段。但是腾讯仍须与苹果公司打交道,因为必须在苹果系统上更新该功能。

新业务允许微信用户在云端备份聊天记录,以便随时恢复数据。

微信现在只支持在智能手机和电脑等设备上存储个人数据,这意味着,如果设备丢失,未及时备份的数据将无法恢复。

另据《广州日报》报道,在消费端个人云存储,当前市场主流是苹果iCloud、百度网盘。苹果目前为中国用户提供5GB的免费云存储空间。中国用户需要为50GB和200GB的额外存储分别支付6元和21元,2TB的最大存储空间需要68元。百度网盘的超级会员费用是每月30元,拥有5TB的存储空间、在线解压、极速下载等,电脑、手机、iPad通用。

业内预期,假如微信推出此项功能,会与其他厂商形成竞争。另一方面,在云端,怎样确保用户数据隐私安全和服务质量是关键。

值得一提的是,在媒体曝出“微信拟推出聊天记录付费云存储服务”之后,该话题一度登上热搜第一。目前,腾讯尚未就此事给出明确回应。(完)

从以云为美到美美与共:阿里云底层自研技术大爆发背后的长期主义

长期主义,是未来写给今天的信笺。

从亚马逊1997年在纳斯达克上市起,贝佐斯每年给股东写一封信。第一封信中,贝佐斯写道:“一切都围绕长期价值展开(It's All About Long-Term),我们会继续面向长期做出决策。”这段话,被很多人奉为长期主义的滥觞。

无独有偶。价值投资的开创者巴菲特从1956年开始,也每年给股东写信。那些关于能力圈、护城河的箴言,在很厚的雪、很长的坡上践行——“如果你不打算持有一家公司十年以上,最好连10分钟都不要碰它”。

今年5月底的阿里云峰会上,阿里云智能总裁张建锋重点阐释了“做深基础、做厚中台、做强生态、做好服务”四大核心战略,其中颇受关注的“做深基础”,可谓排名最前、投入最多、期望最高、挑战最大。厚积薄发的演进路径,无疑彰显着长期主义的精髓。

转眼来到丹桂飘香的杭州之秋,10月19~22日举办的云栖大会刚好12周岁。在主题为“云深处、新世界”的演讲中,张建锋认为以云为核心的新型计算体系结构正在形成,云网端技术的深度融合将构建全新的数字世界。尤为引人注目的是,阿里云发布了一系列与新体系、“新世界”相关的底层自研核心技术和产品,持续多年的深厚积累终于迎来收获果实的时间窗。

从云替代传统IT到云重新定义IT

信笺密码:前瞻眼光犹如长期主义的灯塔,核心技术则是通往彼岸的方舟。

传统IT领域,无论是Win-Tel架构还是IOE体系,在相当长时间里都坚不可摧。国内厂商要在既有的赛道上寻求核心技术突破口,几乎是不可能完成的任务。

云的兴起孕育出全新的增量赛道,为新晋者提供了同一起跑线上的机会。2008年阿里率先提出“去IOE”时,业界看好的人屈指可数。如今回头再看,彼时恰是IT基础设施云化的起点。此去经年,主机被X86设备取代,传统数据库被开源数据库替换,SAN结构高端存储受到云存储冲击,不过是寻常景象。

前瞻眼光犹如长期主义的灯塔,核心技术则是通往彼岸的方舟。2009年成立的阿里云天生背负着变革的使命:站在云计算的制高点,深度切入核心技术研发,成为其奠定领先者地位的必由之路。

作为国内最早自研的云计算操作系统,飞天是阿里云底层核心技术的排头兵。它将阿里云遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式,为用户提供规模化、通用性且具有普惠特征的算力。

经过多年发展,飞天的核心服务包括弹性计算、云存储、云网络等,单集群可达10万台规模、毫秒级响应和EB级存储空间,各个子系统都具备自动部署、扩容升级、故障迁移的能力,经受住了双11、12306春运购票等极限并发场景的挑战。

针对服务器长久以来的虚拟化性能损耗痛点,阿里云自主研发神龙架构,把虚拟化转移到专用硬件中加速,将物理机的高性能与虚拟机的灵活性融为一体,虚拟化损耗几乎为零,性能比传统物理机更强劲。

据《IT创事记》了解,最初神龙架构的研发主要为解决阿里集团内部上云的问题,而不拘泥于自身和眼前的思路,使其可以惠及更广泛的用户。2021云栖大会上,阿里云推出第四代神龙架构。这是飞天操作系统新一代虚拟化技术,搭载全球首个超大规模RDMA高性能加速网络,网络延迟整体降低80%以上,云计算首次进入5微秒时延时代。

盘古是阿里云自研的分布式存储系统,采用先进的容错架构和柔性平台设计,具备弹性伸缩、自动负载均衡等能力,显著提高存储系统的可靠性和安全性。在云存储技术演化过程中,盘古引领行业从毫秒向微秒迈进,推动面向数据中心ZNS SSD国际标准的发展。

洛神云网络是飞天云操作系统的核心技术平台,从1.0时代发布国内首个VPC,到2.0时代打造“三位一体”创新型云网络架构,其一直没有停止创新的步伐。云栖大会上亮相的洛神云网络3.0新平台,旨在构筑“应用-云-边-端”一体的云网络基础设施,让中心云到本地云、边缘云都有一致性的云网络体验,并通过物联网云连接器和智能接入网关推动万物上云。

从建设云底座到构筑数字新世界

信笺密码:遇到硬仗迎难而上,是长期主义者的重要禀赋,时间的玫瑰终将绽放。

从某种意义上讲,飞天操作系统是阿里云“做深基础”战略的核心引擎。在完成IT基础设施云化的初期目标后,飞天进一步兼容X86、ARM、RISC-V等多种芯片架构,实现"一云多芯",向下延伸定义硬件。

通用CPU因架构复杂,对性能和功耗要求极高,是硬件领域最难跨越的大山之一。而遇到硬仗迎难而上,正是长期主义者的重要禀赋。在本次云栖大会上,平头哥发布采用5nm工艺的自研云芯片倚天710,堪称史上最强ARM服务器芯片,性能超过业界标杆20%,能效比提升50%以上。

从2019年发布AI芯片含光800到如今倚天710问世,在造芯的长征路上,平头哥迈出了从专用芯片到通用芯片的关键一步,为阿里云深化“一云多芯”策略奠定了坚实基础。

通用芯片打开一扇门,阿里云顺势推出首款全栈自研磐久系列服务器,将率先服务于2021天猫双11,未来会逐步对外输出。为了让服务器发挥更好的性能和稳定性,开源的龙蜥服务器操作系统也正式发布——支持X86、ARM等主流芯片架构,兼容CentOS生态,可一键迁移,并提供全栈国密能力。

龙蜥在阿里巴巴内部“十年磨一剑”,经过云原生化和大规模实战检验,已具备兼济天下的能力。去年5月,阿里云、统信、飞腾、海光等厂商成立龙蜥开源社区OpenAnolis,通过开放、平等的模式与全球开发者共建中立、多元的软硬件生态体系。未来,阿里云还将投入20亿元专项资金,联合100家生态合作伙伴建设龙蜥生态,并承诺提供至少十年免费技术支持。

芯片、操作系统、数据库并称三大核心IT技术,阿里云对数字新世界基础设施的重塑,绕不开对数据库的改造。自2009年起,阿里逐步用自研数据库取代Oracle等进口产品,但由于数据库种类繁多,更新换代殊为不易。

经过三年多的自主研发,云原生数据库PolarDB于2018年4月正式商用。此后,阿里云在数据库的开发上不断提速,除智能化的企业级云数据服务RDS外,还自研以PolarDB、AnalyticDB、Lindorm为核心,面向在线交易处理、分析与多模、HTAP、物联网等不同场景的云数据库产品矩阵,满足客户多元化的需求。

值得关注的是,PolarDB在今年的云栖大会上重磅升级,实现计算、存储和内存资源的三层解耦,首次达成内存池化,并上线多主架构。与此同时,与阿里云公共云数据库管理平台一脉相承的DBstack产品也浮出水面,让云原生数据库技术进入专有云、混合云等新的市场空间。

从云底座向数字新世界基础设施跃迁,云、网、端深度融合,还会催生云电脑、元宇宙、自动驾驶等新物种。例如:很多工程师已在使用阿里“无影”进行编程,因为数据都在云端,不再担心核心代码泄露,也不必购置高配硬件,就能随时随地使用无限算力,处理各种复杂计算需求。

从云原生到与AI、绿色能源协同创造未来

信笺密码:先躬身自用,再惠及众生,符合长期主义者的责任担当。

传统IT软件被云原生技术取代,是云底座进化到崭新阶段的重要标志。过去,开源软件只是大型商业软件的补充;但云计算进入深水区后,来自开源社区的云原生创新层出不穷,标准化、低代码化的优势日益凸显。

基于钉钉的低代码开发即是典型的开源模式,相关应用8个月增长了86万。如此“爆发”正是因为打破了应用开发的封闭环境,让开发者从企业专业IT人员逐步走向个人,开发成本不到原来的十分之一。

先躬身自用,再惠及众生,符合长期主义者的责任担当。阿里自身落地了全球最大规模的云原生实践,目前业务100%跑在公共云上,且实现应用100%云原生化;同时,阿里云也是云原生最突出的贡献者,主导开源项目超2700个。云栖大会上,平头哥还宣布开源玄铁RISC-V系列处理器,并开放系列工具及系统软件,全栈开源的力度前所未有。

云的外延和内涵不断拓展,必然会与眼下最热门、影响最深远的技术产生交集,其中的佼佼者当属人工智能和绿色能源。

鲜为人知的是,阿里实际上是国内最大的人工智能公司。阿里AI每天被调用超1万亿次,为了将其整体能力向外输出,阿里云发布阿里灵杰,涵盖深度学习平台PAI、大数据计算平台MaxCompute、流式计算引擎Apache Flink和多模态大模型M6等,将阿里统一的AI底层平台对外开放,方便企业和开发者“开箱即用”。

在双碳目标的牵引下,绿色是检验数据中心的黄金标准。云计算本身就是绿色技术,通过聚集计算资源、转移工作负载,云的资源利用率是企业自建机房的5~10倍,并能更好利用风能、太阳能等清洁能源。

阿里云是国内最早实践绿色数据中心的厂商之一,其自建的数据中心全年平均PUE小于1.3,位于河源的数据中心最快明年将100%使用清洁能源。针对数据中心的节能减排,阿里云在云栖大会推出IDC专用的能源与碳管理系统,有效提升数据中心的碳排放管理,引导企业向绿色数据中心转移业务,助力社会减碳。

据阿里巴巴集团董事会主席兼首席执行官张勇透露,阿里近年来每年在技术和研发上的投入都超过1000亿元,其布局的每个前沿技术领域,背后都有全球顶级人才的支持。这是数字新世界长期的创造力之源,也是阿里云从以云为美迈向美美与共的核心驱动。

张建锋认为,未来十年,云计算依然会高速增长,作为市场领导者,阿里云最大的挑战是如何用创新定义未来,引领数字化转型进程——软硬件一体化、钉钉平台、无影新架构等都是阿里云面向未来定义的成果,更多的惊喜还在路上。

「钛晨报」北京证券交易所明确股票发行上市要求;微信拟推出聊天记录付费云存储服务;东京残奥中国队96金60银51铜收官

图片来源:视觉中国

【钛媒体综合】9月5日,北京证券交易所就首批业务规则公开征求意见,首批业务规则为《北京证券交易所股票上市规则(试行)》、《北京证券交易所交易规则(试行)》、《北京证券交易所会员管理规则(试行)》。业务规则的起草,既遵循证券交易所制度建设的普遍规律,又充分考虑北交所服务创新型中小企业的市场地位。

本次就上市规则、交易规则和会员管理规则公开征求意见结束后,北交所将根据意见情况进一步完善,经履行有关程序后发布实施。近期,北交所还将就落实公开发行注册制下审核职责相关的自律规则公开征求市场意见。

《上市规则》明确股票发行上市要求。一是平移精选层进入条件作为上市条件。新三板精选层进入条件经过一年多的实践检验,其包容性、精准度和适应性受到市场各方普遍认可,为实现平稳过渡,北交所上市条件中各类指标及其具体数值,与精选层进入条件保持延续。在新三板连续挂牌满12个月的创新层挂牌公司,符合预计市值、财务标准等条件,经中国证监会注册,完成向不特定合格投资者公开发行后,公众股东持股比例等达到相应要求的,可以在北交所上市。

二是建立符合北交所上市公司特点的限售减持安排。北交所上市公司的股份限售和减持安排总体上保持精选层要求不变, 控股股东、实际控制人、10%以上股东所持公开发行前股份在上市后仍限售12个月。同时,为落实《公司法》规定,吸收上市 公司减持规定的制度理念,作以下调整:其一,明确公司董监高 所持股份上市后限售12个月的法定要求;其二,增加大股东、 董监高不得减持情形;其三,细化减持信息预披露要求。

《上市规则》指出,要建立多元组合的退市指标。借鉴近期退市制度改革的经验,既充分包容中小企业经营活动天然存在的波动性较大, 经营业绩易受外部环境影响的特点,避免市场“大进大出”, 也坚决出清重大违法、丧失持续经营能力等极端情形的公司。明确了主动退市与强制退市安排。其中,强制退市分为交易类、财务类、规范类和重大违法类等四类情形。交易类情形包含股票价格、股东人数、市值等指标,考察期均为连续 60个交易日;财务类情形包含净利润为负值且营业收入低于5000 万元、净资产为负、财务会计报告被出具无法表示意见或否定意见等指标,考察期为2年,指标不交叉适用;规范类情形包 含未按规定披露定期报告、财务会计报告存在重大会计差错或者虚假记载、信息披露或者规范运作存在重大缺陷等;重大违法类情形包含公共安全重大违法和欺诈发行等情形。

钛媒摘声:

通过数字技术推动医院高质量发展,一定要面向患者、医务工作者和医院管理者,找到起点和终点。起点是理解这几类关键角色面临的最大挑战,终点是用技术的手段去解决他们面临的问题。

在这样一个数字化浪潮奔涌向前的时代,对于身处其中的每一个行业、每一个组织而言,数字化转型不是可选项,而是必由之路。

——华为轮值董事长 胡厚崑

政企市场已经成为检验云数据库竞争力的黄金标准。随着政企客户不断加速数字化转型,推动基础设施云化,对云数据库有着巨大需求;另外一方面,政策层面也在积极鼓励政企客户替换存量传统商业数据库。

——阿里云智能数据库事业部总负责人 李飞飞

更多关注:

vivo首款自研芯片明日亮相

9月5日消息,今日(9月6日)vivo将发布首款自研影像芯片V1。这款芯片将搭载在vivo旗舰手机X70系列上。这款手机将于9月9日发布,也是vivo的旗舰手机。

微信拟推出聊天记录付费云存储服务

9月4日消息,据媒体报道,腾讯拟推出个人微信云存储付费服务,微信聊天记录可以实现云端备份和恢复。

据悉,该业务可能采用按年付费的模式,苹果用户或在180元/年左右,安卓用户或在130元/年左右。但该费用具体可以存储多大容量的数据尚未得到确定。据知情人士表示,当前该项目仍在最后推动中,具体细节未最终敲定。截至目前,腾讯未给出明确回应。

北京证券交易所完成公司制工商注册

9月5日消息,国家企业信用信息公示系统官网显示,北京证券交易所有限责任公司已完成工商注册,成立及核准日期为9月3日,全国中小企业股份转让系统有限责任公司为唯一股东。注册信息显示,北京证券交易所有限责任公司,法定代表人为徐明,注册资本10亿元人民币,登记机关为北京市市场监督管理局。

东京残奥中国队96金60银51铜收官

9月5日消息,中国体育代表团结束了本届残奥会所有比赛项目,以96金60银51铜的成绩雄踞金牌榜和奖牌榜榜首,这也是中国体育代表团连续第五次位列夏季残奥会金牌榜和奖牌榜双第一。中国连续5届残奥会金牌奖牌第一。

苹果多款产品将随SpaceX纯商业载人任务上天

9月5日消息,苹果公司多款移动产品将在SpaceX首次纯商业载人飞行任务中发挥重要作用,Apple Watch Series 6、iPhone 12 Pro和iPad mini将参与一系列健康研究,旨在检查太空飞行对人体的影响。

美国太空探索技术公司SpaceX宣布,Inspiration4任务的机组人员将在为期三天的太空飞行中进行一系列有关人类健康和表现的实验。这项任务计划在距离地面575公里的轨道上进行,这是自哈勃太空望远镜维修任务以来距离地球最远的载人航天飞行。

特斯拉2.5万美元新汽车或不会命名为Model 2

9月4日消息,马斯克在最新职工大会上透露,特斯拉售价 2.5 万美元的电动汽车将不会被命名为“Model 2”。该公司之所以为大中型电动轿车取名 Model 3,是因为福特拥有“Model E”商标。将新车型命名为 Model C 似乎更符合特斯拉以前的命名逻辑,因为“C”代表“紧凑”或“廉价”。

马斯克表示,特斯拉正在考虑不给这款汽车安装方向盘和踏板,并且直接配置 FSD。但这令人觉得有点儿困惑:如果特斯拉的目标是推出更紧凑、成本更低的电动汽车以满足买不起高端特斯拉车型的用户需求,那么这款汽车似乎不应是全自动驾驶汽车。目前,FSD 套餐的成本是 1 万美元,而且价格经常上涨。

华为与普华永道达成RPA+AI战略合作

9月5日消息,华为与普华永道在2021年中国国际服务贸易交易会上举行了RPA(机器人流程自动化)+AI(人工智能)战略合作签约仪式。双方宣布在SaaS服务、财务共享、以及产业云领域进行深度合作,为企业提供更优质的智能自动化解决方案。

快自查!一堆APP正在“自动续费”

先来问下大家

你手机里的那些“自动续费”

该关的都关掉了吗?

不查不知道,一查吓一跳!

自动续费”不能在APP里直接取消,

哪怕是卸载也不会取消,

要去支付软件里找到关闭才行,

这种太容易搞忘了。

整理“钱包”发现多款APP“自动续费”

近日,重庆市民26岁的小佳(化名)一查自己的手机钱包,才发现多个APP正在“自动续费”,已累积扣费达近200元。而其中有的APP早就停用甚至卸载了……这一切,都源于小佳当初在开通会员时忘记将“自动续费”停用。

通过小佳的手机记录看到:当你开通某个APP的会员的“连续包月”服务后,在相应的支付软件中,就会生成一个协议——服务到期前2天自动续费,自动延长服务有效期,如关闭服务则不再发起续费。

估计不少人都有过这样的经历:

本想体验一把短期会员待遇,

却没想到在APP服务协议中

默认勾选“自动续费”。

结果没留神,还卸载了APP,

却不知道自己还在“被自动续费”着。

记者对多款APP进行了测试。

在大多数常用软件中,

付费页面均有选择

自动续费连续包月选项

和单独包月选项。

但在一些APP会员充值界面,系统默认选择的是连续包月套餐,在套餐下方,写着一行字号较小、字体颜色偏淡的话:“首月到期后,则会自动续费。”如不仔细看,很难注意到。

也有一些APP标注充值价格中,“连续包月”优惠折扣较大,比起单独包月、季度包月的价格,勾选“连续包月”或“到期自动续费”选项,价格往往最低最优惠。

那么问题来了

如何自查和取消“自动续费”?

赶紧对照自查!

微信:

点击【我的】—【支付】 — 右上角的【···】 — 【扣费服务】,检查和选择要关闭的扣款项目。

支付宝:

点击【我的】—右上角【设置】—【支付设置】—【自动扣款】,检查已签约的自动扣款的服务,选择要关闭的项目。

快看看你手机里

有“自动续费”的项目吗?

提醒大家在购买相关会员服务时,

一定要多加留意,

有些APP“连续包月”确实能享受优惠

但如果不是长期使用,

一定能要记得关闭“自动续费”选项,

并养成定期自查的习惯。

综合新华社、上游新闻、人民网评综合

来源: 烟台公安

联想个人云存储T2开箱试用:双盘私有云+36TB家庭数据中心

随着5G短视频时代来临,作为旅行Vlog博主拍摄了很多庞大的视频素材,每日都会有大量视频后期制作的存储文件以及临时数据备份持续的膨胀,笔记本电脑肯定不够存放的,删来删去的耽误时间;移动硬盘虽便捷,但也会出现不可控的意外情况导致数据损坏,数据不一定能保证“万无一失”。

巨大的存储成本和维护压力让一些网盘商陆续关闭,免费稳定的网盘几乎不多见了,百度网盘非会员下载速度相当影响效率,只针对付费会员做升级服务(下载速度和空间),造成了很严重的工作与实践损失。繁多的数据如何能够提供保障的稳定管理?私密的数据如何获得存储安全?

云存储的优势在于可扩展性、场外管理、快速部署,以及较低的前期成本,这些优势逐渐被企业和个人用户所认可。联想推出了新一代的“个人云存储T2”,为家庭和个人用户构建无缝连接数字生活与工作的智能存储服务,并对数据进行实时备份与任意分享。下面为大家分享联想个人云存储T2(单盘2TB版本),究竟带来怎样新体验。

外观:轻奢高颜值+免工具拆装设计

联想个人云存储T2外观采用了类似mini PC小机箱的全新设计,相比上代变化很大,延续了家族设计风格,整体R圆角设计+中间曜石金色调,两侧为聚合物材质模仿陶瓷质感的装饰盖,再加上流水纹理设计,高颜值很贴合居家风格。

机身中间顶部有个打开面板位(盖板上有使用说明),打开磁吸盖板即可看到双盘位,由于上一代仅限支持2.5寸硬盘,这次做到了兼容3.5寸硬盘。双盘位都采用了服务器级的“卡扣式快拆”方案,装入3.5寸硬盘非常简单,安装在硬盘托架的两侧卡板进行固定即可(免工具安装),只有2.5寸硬盘需要上螺丝钉进行固定(支持SATA接口/SSD硬盘),硬盘托架推进去即可。不过,虽然没有像T1一样有触感反馈,但将其推到底就不会发生接触不良的问题,大可不必担心安装不稳固会导致接触不良的现象/影响硬盘的安全。

选购硬盘有个建议,尽量选购“NAS专用”的硬盘进行存储,建议西部数据NAS级专用红盘。官方套装标配的都是西部数据NAS专用盘,拥有无盘版以及4TB版、4TB×2版、8TB版、8TB×2版这四个搭配西数红盘捆绑售卖,内置硬盘的容量最大支持36TB(两块18TB硬盘)。

机身正面右下方有三个指示灯,2个硬盘指示灯(白色、橙色两个颜色),其中一个指示灯是电源开关实体按钮(有白、蓝、橙三个颜色),每个颜色对应提示详细看说明书。

机身背面大部分是92mm大尺寸的静音风扇,正常情况下几乎听不见风扇转动的声音,有效全天稳定运行。下方还标配了主流常用的接口:DC电源接口、千兆自适应RJ45有线网接口、1个USB3.0 Type-A、1个USB 3.0 Type-C、RESET重置孔位,这些扩展接口跟进潮流,实用性很强,也能轻松实现外置形成强大的“磁盘阵列柜”潜力。

为了保证散热底部风向流通,机身底部也有散热设计,四边角都用防滑脚垫,加强了散热性能,同时满足了机身的稳定性。

联想个人云存储T2配件很齐全,使用说明书、一根千兆网线、2.5寸硬盘专用螺丝钉以及电源适配器。千兆网线做工质量比较不错,接触点精致又牢固。

体验:支持跨多平台同步,智能化备份/安全管理

联想个人云存储T2搭载了Realtek 1296处理器,主频为1.4GHz,内置2GB内存(DDR4)+ 8GB闪存(eMMC 5.1),实现了读取写入和分享文件等功能,还可以查看系统状态和硬盘健康检测、智能化维护硬盘计划,能够延长硬盘寿命等。支持跨多平台(Windows,Android,iOS、Mac OS、Android TV)和多设备(手机、电脑、平板、智能电视等)。

接入电源以及千兆网线后,按一下开关键,指示灯都处于橙色常亮即可,硬盘灯处于橙色闪烁是因为硬盘未配置。使用手机APP完成首次连接配置,选择磁盘阵列模式,支持RAID1、Large两种模式,对于每个模式的优点做了详细的介绍,一般选择RAID1模式最保守,支持备份,数据丢失风险低,提高数据安全性;不建议使用Large模式,它是将两块硬盘合成“一块大容量硬盘”,数据没有额外保护,遇到意外情况下,数据可能会全部丢失。

硬盘模式选择完毕后,激活了LSM 2.0操作系统,把最常用的文件格式分类置顶,APP将“我的空间”、“公共空间”、“群组空间”放在了十分醒目的位置上。具备自动文件归类、快速访问、AI相册、文件去重在内的易用功能;支持包括百度网盘、天翼网盘、迅雷下载(后续随OTA更新上线)、玩物下载在内的第三方软件接入。这次新增了两大新功能:1、支持离线转码功能,用户可通过低码流远程观看;2、支持DLNA功能,用户可随时观看流畅高清视频;这两大功能对智能互联网电视带来新影音体验,也实现了电脑端不需下载到本地观看,直接在线观看影片。

现在数码产品更新换代频繁,导致不少用户频繁换机、手机随着长时间数据暴增导致存储空间不足等导致微信重要客户数据丢失。虽然很多手机厂商提供了自家云服务,但是大多数都是只有5G空间的免费服务,对用户来说不够用。联想个人云存储T2提供了手机备份和微信备份功能,一次上传最多可以同时传输500个文件,必然解决了手机容量吃紧用户的刚需。

“微信备份”功能解决了微信数据7天后自行失效的问题,只能备份文件内容、图片、视频、文档等,可惜的是,不支持备份聊天记录(微信出于安全目的限制开放接口)。苹果手机由于系统架构安全性很高,只能备份图片、视频,不支持音频和文档的备份,也不含聊天记录。

“手机备份”功能,支持相册、视频、音频、通讯录、文档文件夹内的文件进行自动备份。

联想个人云存储T2作为守护私人数据安全的存储产品,支持手机、PC自动备份以及增量备份,提供连续备份、手动备份、定时备份三种模式。首次备份后,只备份新增数据,速度快,空间利用更合理。本地存储设备,将文件放在自己的服务器中,不用担心重要内容的泄露问题,数据不必上传公域云端,安全性及数据可控性更高。

目前商务办公人士使用苹果电脑繁多,出差经历过笔记本设备丢三落四等意外情况,应该体验过MacOS系统的“Time Machine”大法宝,直接通过这个功能迁移了之前整个使用环境恢复到新设备上。可是,这些备份文件相当很大,1TB都不够用。联想个人云存储T2的APP上也内置了Time Machine功能,当你的Mac设备内置存储更换或由于意外情况删除了某些重要文件时,通过数据守护者的Time Machine能够从备份中恢复所需要的数据。

随着网站视频版权严谨,关闭了很多网站,慢慢珍藏了好多好多经典影片,好东西当然要“分享”给身边的好朋友。大多数网盘都收费,下载速度特别慢,最关键的是电影版权问题是不允许上传分享的。联想个人云存储T2支持离线下载、文件分享功能,适合热爱电影的发烧友。

“离线下载”功能,目前很多迅雷这样的下载软件,受到了多种原因导致很多电影无法下载;而且下载大文件的需要很长时间的等待,不能断开网络,需要长期开着电脑疯狂下载,影响网速的同时不便于干其它事情。有了这个产品,以上问题都会迎刃而解,能够为你全天享受喜欢的影片资源保驾护航,也可躲避高峰期在深夜为你静默下载。

“文件分享”功能,创建链接以及提取码或分享好友,与网盘功能一致,支持7天以及1天的分享有效期,文件传输快(下载速度取决于家里的带宽速度),满足了热衷于共享人群的需求。不过,目前这个功能是限免服务,咱们现在可以尽情使用。

总结

通过体验来看,联想个人云存储T2对于NAS老玩家来说,升级惊喜多多期待更多。相比上一代解决了不能安装3.5寸硬盘、散热太吵的问题,带来了专业NAS硬盘可玩性。对于个人、家庭甚至是小型工作室的数据需求,丰富了很多智能体验,实现了家庭和个人用户构建专属自己的个人云数字生活生态圈,保障了无缝连接数字生活与工作的智能存储服务新体验。

数据守护者APP体验还有进一步的提升空间,建议后续调整数据守护者APP占用内存空间以及协同的稳定性(MacOS),优化功能细节,提高流畅的交互体验。

微信付费云存储服务的其他想象

王如晨/文

创意配图:微信 微信支付 朋友圈 小程序 视频号 公众号

微信云存储付费服务消息昨日密集刷屏。

外界关注用户聊天记录如何实现云端备份/恢复、收费模式、安全居多。这确实是直接的体感。

夸克提供另外几重观察视角,事涉:监管压力;人口红利弱化压力;微信体验创新与生态改造压力;腾讯云增长机制尤其SaaS协同创新压力。

监管还是不说了。涉及腾讯游戏主业、内容版图的增长。

看看微信其他压力面吧。先看增长压力吧。

微信用户日活12亿,堪称宇宙超级应用之一,本地更是无人能敌。不过,这也意味着,接下来,即便国际市场仍有用户增量,整体也将陷入人口红利弱化局面。

它应该会通过创造服务供给,强化创新体验,形成交叉服务,持续挖掘存量价值。

比如,持续丰富产品视角的各种功能体验。比如可以进一步强化社会化服务,还有小程序、视频号等等。

理论上,微信就像个数字时代可以无限扩充、插载的主板。

但美好的逻辑,总隐含巨大代价。微信目前负载过重,产品形态、品类芜杂,许多体验相当差。微信内应用,无论财付通还是其他小程序,打开、跳转已不如早前那么快捷、流畅。

还有,应用商店里,无论安卓还是苹果iOS,微信APP几乎都是最大的包之一。打开手机后台,它几乎也是本地所有用户手机流量、时长、硬件性能及存储空间消耗最大的一个。

过去我们说摩尔定律驱动硬件工业增长。后来说软件。近10年来,至少本地,可以说,微信是摩尔定律演进的关键力量,倒逼着移动端提升,不止算力,还有存储、网络。你甚至可以将这种逻辑延伸到梅特卡夫定律与新的网络规模效应上去。

同样,微信也是这一周期信息垃圾、电子垃圾形成的最大场域之一。过去我们在贵屿看到无数的电子垃圾。今天同样很多。只是形态变幻而已。许多手机,仅仅卸掉一个微信,软硬件体验就大不一样。

微信当然一直在减负。很多功能、应用可自行装载。靠着算法,可实现千人千面。微信搜索覆盖亦越来越广。一定程度,这能化解芜杂,走向简洁,但也只是相对。

百度搜索、淘宝此前持续面临的问题,微信其实也在经历。尽管阶段不一,本质没有不同。微信连接了无数的商业组织,触达了海量的服务,却同样让自身陷入一种无可回避的负载,商业化体验弱化压力日益加重。

你会说,这跟微信云存储付费服务有毛关系?

当然了。云存储,既是一种粘性十足的订阅、增值服务,也是一种化解移动端负载、提升体验(于微信用户更甚)的路径之一。如果时时触达都能消除信息负载——当然也有安全与丢失的焦虑,整个移动体验会大为改观。

如此,随后,它的增长,除了直接的云存储收费相当可观之外,综合体验提升创造的增长空间恐怕更可观,它是一种长尾效应,足可化解用户增长弱化,于行业一端也将打开新的空间。

用户存储自由之后,会进一步激活生态开发群体。

其二,腾讯云竞争模式的升级。

云存储收费模式是一种新的增值服务、订阅服务,当然可以直接驱动云业务增长。考虑到12亿日活,即便很小一部分接受付费,营收也相当可观。

腾讯云确实会大幅受益。不过我觉得,它有更多效应。

截至目前,腾讯云既有云基础设施,有较强的算力资源,有AI化能力,更有PaaS 、SaaS层,结构、要素稳定、完整。

它已经拿下本地不小的公有云市占,尽管距离阿里云仍有较大落差。这与两者起步周期、过往生态、场景差异深有关联。

但要看到,腾讯云在PaaS、SaaS层同样有它较强的实力。尤其是SaaS层。

微信既是一种应用,也是一种平台,更是一种数字时代的商业操作系统。当阿里云强化云钉一体时,其实腾讯云同样有“云微一体”的能力,甚至更自然。当然,阿里云在纵向的数字化、智能化能力上,因为长期的电商场景便利,有较强的协同验证实践,腾讯云以及其他同业则还需要持续的验证。

不过,在前端的SaaS层面,微信的多元角色,使得它在连接、触达、发展新的用户与客户上,有明显的优势。围绕微信的应用,也在进一步丰富。

前段,河南灾情时刻,腾讯文档突然引爆朋友圈。一些人仅仅当它是一种公益化的小产品,事实上,它隐含着媲美微软Office360、谷歌文档的能力。若与微信垂直一体,似乎近似Azure+office360的架构了。若再结合其他协同工具平台,假以时日,腾讯文档可能成为一个新的生态,而不是一个瘦弱的产品。

若微信入口负载过重,加上用户终端性能差异,无论文档展现的模式多么出色,实际体验都可能不好。

不止文档与个人微信,还有更多。比如腾讯会议、企业微信。它们实际的运作,都存在这种挑战。

微信若停留在现有形态,虽不缺出色的产品,却很难造就更深的协同。更关键的是,它还会导致PaaS层支撑能力弱化,延缓外部开发者的合作进程。

单纯的云端存储其实没什么可说的,这服务太多了。于腾讯云生态来说,此刻却是牵一发而动全身的动作。

当然也不会盲目放大。它毕竟也是腾讯云基础设施的深度利用。存储、算力资源若没有更多用户与客户,都是沉没成本。

此外,考虑到腾讯游戏主业面临的监管,个人微信云存储服务显然有较浓的2B传播效应。

今年2月以来,腾讯市值大幅缩水,同样惨淡。当阿里遭受压力监管、触罚后,外界似乎已经对腾讯下行、压力面形成了一种集体“期待”,好像一定会发生什么。

此刻,微信云存储收费服务实在也是一次合适的露出机会。

而且,还能卡位:下月,微软Windows11即将发布,将对其他系统的应用展示包容性。同样下月,2022财年阿里云栖大会揭幕。于阿里集团来说,应该会发出关键的声音。

其实还有一重视角,只提一下,不再展开,那就是,个人微信云存储收费服务,会推动微信乃至腾讯与移动终端企业尤其是手机巨头形成新的合作关系。

你应该注意到,最近几年,腾讯与苹果、华为、小米们之间关系颇有些微妙。微信是个强大的端口,也是一种类操作系统,它与借助手机系统与终端平台持续强化入口服务的苹果们,正在经历新的权力平衡。

深度 | 数据仓库分层存储技术揭秘

一 、背景

据IDC发布的《数据时代2025》报告显示,全球每年产生的数据将从2018年的33ZB增长到2025年的175ZB,平均每天约产生491EB数据。随着数据量的不断增长,数据存储成本成为企业IT预算的重要组成部分。例如1PB数据存储一年,全部放在高性能存储介质和全部放在低成本存储介质两者成本差距在一个量级以上。由于关键业务需高性能访问,因此不能简单的把所有数据存放在低速设备,企业需根据数据的访问频度,使用不同种类的存储介质获得最小化成本和最大化效率。因此,把数据存储在不同层级,并能够自动在层级间迁移数据的分层存储技术成为企业海量数据存储的首选。本文介绍数据仓库产品作为企业中数据存储和管理的基础设施,在通过分层存储技术来降低企业存储成本时的关键问题和核心技术。

1. 什么是分层存储

分层存储顾名思义,就是把数据分为高频访问的热数据和低频访问的冷数据,并分别存储在热数据层和冷数据层,达到性能与成本的平衡。热数据层采用高性能存储介质,单位成本高,为控制预算一般容量较小,只存储关键业务数据,例如ERP,CRM数据,或者最新的订单数据等。冷数据层则存储非关键业务数据,例如审计日志,运行日志等,或历史沉淀数据,例如一个月前的订单数据。此部分数据体量大,访问频度低,性能要求不高,因此采用单位成本低,容量大的存储介质来降低成本。同时,随着时间流逝,部分热数据访问频度会降低(一般称为数据降温),此时存储系统能够自动迁移该部分数据到冷数据层来降低成本。

2. 数据仓库分层存储面临的挑战

数据仓库产品在实现分层存储能力时,面临的几个核心挑战如下:

  • 选择合适的存储介质。存储介质既要满足性能、成本需求,还要满足可靠性、可用性、容量可扩展、运维简单等需求。
  • 业务上的冷热数据,如何在分层存储中定义?即如何描述哪部分是热数据,哪部分是冷数据。
  • 冷热数据如何迁移?随着时间流逝,业务上的热数据降温为冷数据后,数据仓库如何感知温度的变化并执行数据迁移来降低存储成本。
  • 如何加速冷数据的访问?冷数据仍然会被访问,比如因法规政策要求,用户需对三个月前数据进行修订,或者需要对过去一年的数据进行统计分析来进行历史回顾和趋势分析。由于冷数据体量大,查询涉及的数据多,存储介质性能低,如果不进行优化,对冷数据的元信息,内容访问可能出现瓶颈影响业务使用。

二 、数据仓库分层存储关键技术解析

本章将以阿里云数据仓库AnalyticDB MySQL版(下文简称ADB)为原型介绍如何在数据仓库产品中实现分层存储,并解决其核心挑战。ADB的整体架构分为三层:

  • 第一层是接入层:由多个前端节点构成,主要负责接入用户查询,进行SQL解析、优化、调度。
  • 第二层是计算引擎层:由多个计算节点组成,负责执行用户查询。
  • 第三层是存储引擎层:由多个存储节点组成,用户数据按Shard切片存储,每个Shard有多个副本保证高可靠和高可用。

1. 冷热数据存储介质的选择

对于业务上的热数据,需采用高性能存储介质满足其快速查询需求。SSD相对HDD来说,成本较高,但其具有高IOPS和高带宽的特性,因此ADB把热数据层建立在SSD上,并使用数据多副本机制,出现存储节点异常时,通过切换服务节点来保证高可靠和高可用。业务上的冷数据,一般是历史沉淀的业务数据或日志数据,这些数据体量大,访问频度低,因此容量大、成本低是存储介质的主要选择因素。对于冷数据层,ADB选择建立在阿里云OSS上。阿里云对象存储服务OSS作为阿里云提供的海量、低成本、高持久性的云存储服务,其数据设计持久性不低于99.9999999999%,服务可用性不低于99.995%。OSS提供的这些特性满足了冷数据层对成本和可靠性的需求,同时相对于自己维护HDD磁盘,OSS自身具有容量无限扩展能力,满足海量数据存储需求。并且OSS可以远程访问,因此存储节点的副本间可以共享数据来进一步降低成本。

2. 冷热数据定义问题

业务自身对冷热数据的定义比较明确。比如企业中一些需要高频访问的CRM、ERP数据均为热数据。而对于审计日志,或数天前的订单数据,其访问频度低,则可定义为冷数据。核心问题是,业务上的这些数据,如何在分层存储中描述其冷热属性并保证存储位置的准确性。例如企业促销活动,大量用户正在线上进行业务交互,此时如果分层存储错误的把客户信息、商品信息等关键数据迁移到冷区,则会引起相关查询性能受损,最终出现客户登录受阻,客户点击失败等业务异常,导致企业受损。ADB解决这个问题的方法是在用户建表时指定存储策略(storage_policy)来精确关联业务上的冷热数据和分层存储中的冷热存储,下面是示例。

全热表

所有数据存储在SSD并且不会降温,适用于全表数据被频繁访问,且对访问性能有较高要求的场景,比如CRM、ERP数据。

Create table t1(
id int,
dt datetime
) distribute by hash(id)
storage_policy = 'HOT';

全冷表

所有数据存储在OSS,适用于体量大,访问频度低,需要减少存储成本的场景,比如审计日志数据。

Create table t2(
id int,
dt datetime
) distribute by hash(id)
storage_policy = 'COLD';

冷热混合表适用于数据冷热有明显时间窗口的场景。例如最近7天的游戏日志数据,广告点击数据等需高频访问,作为热数据存储,而7天前的数据可降温为冷数据,低成本存储。

注:冷热混合表需配合表的分区使用。除storage_policy外,还需指定hot_partition_count属性。hot_partition_count指按分区值倒序,取最大N个分区为热分区,其余为冷分区。下例中,表按天分区,hot_partition_count = 7表示分区值最大的7个分区,也就是最近7天的数据为热数据。

Create table t3(
id int,
dt datetime
) distribute by hash(id)
partition by value(date_format(dt, '%Y%m%d'))
lifecycle 365
storage_policy = 'MIXED' hot_partition_count = 7;

修改冷热策略随着业务的变化,表的访问特性可能发生变化,企业可以随时修改表的存储策略来适应新的存储需求。

(1)由热表修改为冷表:

Alter table t1 storage_policy = 'COLD';

(2)修改热分区的个数,修改为最近14天的数据为热数据:

Alter table t3 storage_policy = 'MIXED' hot_partition_count = 14;

3. 冷热数据自动迁移问题

随时间流逝,热数据的访问频度降低,降温为冷数据。比如一些日志数据,在数天后就很少再访问,分层存储需把这部分数据由热数据层迁移到冷数据层来降低成本。这里的核心问题是如何知道哪部分数据的温度降低了需要迁移?下面通过一个冷热混合表,来说明ADB解决该问题的方法。如下是一张日志表,最近三天数据为热数据,满足高性能在线查询需求,三天前数据为冷数据,低成本存储并满足低频访问需求。

Create table Event_log (
event_id bigint,
dt datetime,
event varchar
) distribute by hash(event_id)
partition by value(date_format(dt, '%Y%m%d')) lifecycle 365
storage_policy = 'MIXED' hot_partition_count = 3;

在本例中,表首先按天分区。

partition by value(date_format(dt, '%Y%m%d')) lifecycle 365

并定义冷热策略为混合模式,最新3天的数据是热数据。

storage_policy = 'MIXED' hot_partition_count = 3

在ADB中,冷热数据以分区为最小粒度,即一个分区要么在热区,要么在冷区,然后通过热分区窗口来判定某个分区是否为热分区(表属性中的hot_partition_count定义了热分区窗口的大小)。在本例中,假定当前日期是3月4日,则3月2日、3日、4日这三天的数据处于热分区窗口中,因此是热分区。当写入3月5日的数据后,则3月3日、4日、5日这三天数据组成了新的热分区窗口,3月2日数据降温为冷数据,后台会自动执行热冷迁移,把3月2日的数据由热区迁移到冷区。通过热分区窗口,客户根据业务场景可以明确定义冷热边界,一旦数据降温则自动迁移。

4. 冷数据访问性能问题

冷数据存储在OSS上,OSS是远程存储系统并通过网络访问,延迟较高。例如判断文件是否存在,获取文件长度等元信息操作,单次交互的访问延迟在毫秒级别。同时,OSS带宽有限,一个账号下整体只有GB级别带宽,提供的整体QPS也只有数十万,超过后OSS就会限流。数据仓库内部存储着大量文件,如果不对OSS访问做优化,则会出现查询异常。例如查询可能涉及数百万个文件,仅仅获取这些文件的元信息就会达到OSS的QPS上限,最终导致查询超时等异常,因此需对OSS的访问进行优化来保证业务的可用性并提高查询性能。如下对元信息访问优化和数据访问优化分别介绍。

元信息访问优化

ADB作为数据仓库,底层存储了大量的数据文件和索引文件。ADB优化元信息访问的方法是对文件进行归档,即把一个分区内的所有文件打包在一个归档文件中,并提供一层类POSIX的文件访问接口,通过这个接口去读取文件内容。

归档文件的Meta里内存储了每个子文件的偏移和长度等元信息。读取时,先加载归档文件的Meta,只需要一次交互即可拿到所有子文件元信息,交互次数降低数百倍。为进一步加速,ADB在存储节点的内存和SSD上分别开辟了一小块空间缓存归档文件的Meta,加载过即无需再访问OSS获取元信息。同时,归档后只需一个输入流便可读取所有子文件数据内容,避免为每个子文件单独开启输入流的开销。

数据访问优化

查询中,无论是扫描索引,还是读取数据块,都需要读取OSS上文件的内容,而OSS无论访问性能还是访问带宽都有限。为加速文件内容的读取,ADB存储节点会自动利用SSD上的一块空间做数据Cache,且Cache的上层提供了类POSIX的文件访问接口,数据扫描算子(Table Scanner)可以像访问普通文件一样访问Cache中的内容。

查询中对OSS的所有访问(索引、数据等)都可借助SSD Cache加速,只有当数据不在Cache中时才会访问OSS。针对这块Cache,ADB还做了如下优化:

  • 多粒度的Cache Block,加载元信息时使用较小的Block,加载数据时使用较大的Block,以此提高Cache空间利用率。
  • 元数据预热,自动加载数据和索引的元数据到Cache中并锁定,以实现元数据高效访问。
  • 基于冷热访问队列的类LRU算法,实现无锁化高性能换入换出。
  • 自动IO合并,相邻数据的访问合并为一个请求,减少与OSS的交互次数。

三、总结

随着企业数据量的不断增长,存储成本成为企业预算中的重要组成部分,数据仓库作为企业存储和管理数据的基础设施,通过分层存储技术很好的解决了企业中存储成本与性能的平衡问题。对于分层存储技术中的关键挑战,本文以云原生数据仓库AnalyticDB MySQL为原型,介绍了其如何通过冷热策略定义,热分区窗口,文件归档,SSD Cache来解决冷热数据定义,冷热数据迁移,冷数据访问优化等关键问题。

作者 | 沄浩、士远

本文为阿里云原创内容,未经允许不得转载。

什么是云存储?它是怎么工作的?

当下,云计算已然是新兴技术领域和服务领域的“热词”之一,从云计算概念和实践中延伸出了一种新的存储模式——云存储。云存储正在通过各种应用服务走进我们的生活,逐渐改变着我们对传统存储方式的认知,也在不断刷新着文件存储方式。

各类大型搜索平台,每天需要处理超过百亿次的数据,并且大部分都是无结构或者半结构化的数据。因此,搭建存储和计算平台,用更简便的方式管理海量数据,亟待解决。云计算与云存储的出现能够有效解决这个问题。

云计算是一种通过网络连接IT资源(如服务器、储存、应用和服务等)的应用模式,组成共享资源池,向用户提供按需服务,同时能够实现资源的快速部署。

在云计算的基础上发展出了云存储,云存储实际上是云计算中有关数据存储、归档、备份的一个部分,是一种创新服务。我们可以从两方面理解云存储的定义:第一,在面向用户的服务形态方面,它是一种提供按需服务的应用模式,用户可以通过网络连接云端存储资源,在云端随时随地存储数据;第二,在云存储服务构建方面,它是通过分布式、虚拟化、智能配置等技术,实现海量、可弹性扩展、低成本、低能耗的共享存储资源。

云存储具有高可靠性、高可用性、高安全性、规范化和低成本等特征。这些特征是依靠分布式接入、全局访问空间、虚拟化感知能力、数据流动能力、空间智能分配和绿色节能等技术来实现的。

从结构模型上来看,云存储主要由成千上万的网络存储设备、分布式文件系统及其他存储中间件组成。其结构共分为4层,自下往上依次是存储层、管理调度层、应用接口层和访问层。

和云计算一样,云存储的安全性问题一直备受关注,无论是企业还是普通用户,首先考虑的永远是其安全性。信息安全响应和技术保障是相对的,如何在保护信息安全的基础上,为用户提供更加便利的存储服务,也是未来云存储技术发展的重点。

本文由北京市第六十五中学一级教师李岩进行科学性把关。

本文来自:新华网

太突然!微信或迎重大变化!网友吵翻

今天下午,#微信拟推出聊天记录付费云存储服务#的话题登上热搜第一,引发网友广泛关注。

到底啥情况?

一起来了解下

腾讯拟推出个人微信云存储付费服务

微信聊天记录可实现云端备份和恢复

据中国日报9月4日消息,

腾讯拟推出个人微信云存储付费服务,

意味着微信聊天记录

可以实现云端备份和恢复。

目前,

微信仅支持迁移聊天记录

到另一台设备以及备份聊天记录到电脑,

如果设备丢失,

未及时备份的数据将无法恢复。

或采用年付费模式

苹果用户180元/年左右

安卓用户130元/年左右

据悉,

该业务可能采用按年付费的模式,

苹果用户或在180元/年左右,

安卓用户或在130元/年左右。

但该费用具体可以存储

多大容量的数据尚未得到确定。

知情人士表示,

当前该项目仍在最后推动中,

具体细节未最终敲定。

截至发稿前,

腾讯未给出明确回应。

腾讯2021年第二季度财报显示,

截至6月底,

微信及WECHAT月活跃帐户已达12.5亿。

业内人士:

或于其他厂商形成竞争

如何确保用户数据隐私安全是关键

广州日报·新花城记者了解到,在消费端个人云存储,当前市场主流是苹果iCloud、百度网盘。

据苹果官方介绍,用户注册iCloud时,可自动获得5G的免费存储空间。用户可选择升级,费用分别是50GB方案6元/月、200GB方案21元/月以及2TB方案68元/月,其中后面两个方案是“可以与家人共享”。用户将苹果设备中的照片、文件、备忘录等内容存储在iCloud上,可以随处取用。

据百度网盘显示,超级会员费用是30元/月,拥有5T的存储空间、在线解压、极速下载等,电脑、手机、iPad通用。

iCloud仅在苹果设备上使用,而百度网盘则可以在苹果和安卓设备上使用。

业内预期,假如微信推出此项功能,会与其他厂商形成竞争。另一方面,在云端,怎样确保用户数据隐私安全和服务质量是关键。

网友:只要不留聊天记录就赚不到我的钱

消息一出,

便引发网友热议。

有网友表示,

不存聊天记录,

对云存储收费表示疑惑

↓↓

有网友表示不存聊天记录,

不需要这项服务

↓↓

也有网友认为价格偏贵,

“只要不留聊天记录就赚不到我的钱”

↓↓

还有网友担心隐私问题

↓↓

此外,

也有网友支招,

可以自己截图保存聊天记录

↓↓

来源:环球时报