
正文
nosql同城双活的简单介绍
提示:扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
大数据知识点里面的 HBase 是什么意思?
HBase是一个分布式的、面向列的开源数据库,基于Hadoop生态圈,在NoSQL蓬勃发展的今天被国内外众多公司选择,应用于现代互联网系统的不同业务。
HBase业务场景
1.标签数据的存储
标签数据是稀疏矩阵的代表,描述了实体的各类属性,主要应用于智能推荐、商务智能或营销引擎等领域。
2. 车联网数据的收集
车联网系统是利用车载设备收集车辆运行时产生的各项数据,通过网络实时上传,在平台进行动态分析和利用。
3. 交易记录的保存
在移动支付领域,保证历史交易记录等敏感信息的安全性是一个重要的话题。当数据中心遭遇自然灾害、外部攻击时,必须保证这些信息不丢,而且从业务角度要保证RTO尽可能短、RPO尽可能为0。
HBase基于底层的HDFS作为存储系统,HDFS实现了三副本策略,按照一定的规则将副本放在不同的节点或机架中,本身具有较高的容灾能力。在工程实践中,也产生了Region replica、主备集群、互备双活等策略来尽可能进行灾备并保证高可用。
相关问答
Q1: SqlServer 2012 Cluster 可以实现双活吗
Windowscluster要求同一个cluster中的所有windows版本都是相同的,这样就出现一个问题,当我们要将对windows进行升级时,(例如从windows2008R2升级到windows2012)不得不搭建一套新的windowscluster。你可以选择使用新的硬件搭建,或者将现有windowscluster中的节点一台一台的evict掉,重装/升级系统后加入到新的windowscluster中。具体的cluster升级方案我就不在这里讨论。马上进入主题:sqlserverAlwaysOnAvailabilityGroup(后文简称为AG)的一个要求是:所有的replica都要求隶属于同一个windowscluster。所以当我们对windowscluster进行升级时,无法在新的windowscluster和现有的windowscluster之间建立AG。那么在迁移过程中会有一段时间内AG无法对外提供服务。从数据库的角度上说,我们需要做下面的事情接下来停止应用并删除cluster1中的Listener,确保没有外界来接使用SQLSERVER.BackupdatabaseBackuptaillog将备份文件copy到新的服务器Restore到各个服务器然后重新建立AG创建Listener重启应用我们需要将数据库备份并还原到新的primaryreplica和secondaryreplica。相应的downtime时间就是1+2+3+4+5+6+7+8想要的时间。或许你想到了在新旧cluster之间创建一个mirroring,但遗憾的是,创建了AG的数据库是不再允许创建mirroring的.那应当如何进行迁移呢?从SQLServer2012SP1开始,允许在两套不同的windowscluster之间创建AG。下面用一个例子说明一下有一个三个节点的windowscluster,windows版本为Windows2008R2Domain:liweiyin3.labClustername:cluster1Server002Server003Server004Listenername:Listener1三个节点上装有SQLServer2012SP1的standalone实例。均为默认实例。之间建立了AG.拓扑图如下:现在创建一套两个节点的windows2012的windowsclusterDomain:liweiyin3.labClustername:cluster2Server005Server006对cluster1上的AG数据库进行备份,包含fulldatabasebackup和logbackup两个cluster中间创建AG:将第一步得到的文件在cluster2的节点上进行还原,指定为withnorecovery.接下来在cluster2的三个数据库上执行下面的语句ALTERSERVERCONFIGURATIONSETHADRCLUSTERCONTEXT='cluster1.liweiyin3.lab'这条语句执行完毕后,这台数据库的clustercontext就会切换为cluster1了。这个结果可以从下面的DMV中检查到selectcluster_namefromsys.dm_hadr_cluster接下就可以在cluster1和cluster2之间建立AG。我们可以使用UI或者T-SQL语句。需要注意的是,请将cluster2中的至少一个SQLServer的同步模式设置为Synchronouscommit,以保证迁移是没有数据损失的。这样,我们就建立了一套既包含win2008R2,也包含win2012的AG环境了。并且也可以正常地向外界提供服务,整个流程不需要downtime.但需要注意的是,这种情况下是不允许在两个cluster之间进行failover的。相应的提示信息如下Anattempttofailoverorcreateanavailabilitygroupfailed.ThisoperationisnotsupportedwhenAlwaysOnAvailabilityGroupsisrunningunderaremoteWindowsServerFailoverClustering(WSFC)clustercontext.Underaremoteclustercontext,failingoverorcreatingavailabilitygroupsarenotsupported.接下来停止应用并删除cluster1中的Listener,确保没有外界来接使用SQLSERVER在Cluster1将AG进行offline操作ALTERAVAILABILITYGROUPdbNameoffline将cluster2中所有sqlserver的CLUSTERCONTEXT切换回来ALTERSERVERCONFIGURATIONSETHADRCLUSTERCONTEXT=local在cluster2中重新创建AG在cluster2中创建新的listener重启应用这样所涉及的downtime就是5+6+7+8+9+10和之前的解决方案相比,省去了backup,文件copy和restore的时间。其余的操作都是句操作,很大程度地减少了downtime。更多信息===迁移之前,Cluster2中的sqlserver不允许创建任何AG。迁移之前需要授予cluster2中的sqlserver启动账号访问cluster1注册表的权限ChangetheHADRClusterContextofServerInstance(SQLServer)
Q2: 阿里云的主要产品
阿里云的产品致力于提升运维效率,降低IT成本,令使用者更专注于核心业务发展。
云服务器ECS
一种简单高效,处理能力可弹性伸缩的计算服务。助您快速构建更稳定、安全的应用。提升运维效率,降低IT成本,使您更专注于核心业务创新。
云引擎ACE
一种弹性、分布式的应用托管环境,支持Java、PHP、Python、Node.js等多种语言环境。帮助开发者快速开发和部署服务端应用程序,并简化系统维护工作。搭载了丰富的分布式扩展服务,为应用程序提供强大助力。
弹性伸缩
根据用户的业务需求和策略,自动调整其弹性计算资源的管理服务。其能够在业务增长时自动增加ECS实例,并在业务下降时自动减少ECS实例。
一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务。基于飞天分布式系统和高性能存储,RDS支持MySQL、SQL Server、PostgreSQL和PPAS(高度兼容Oracle)引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案。
开放结构化数据服务OTS
构建在阿里云飞天分布式系统之上的 NoSQL数据库服务,提供海量结构化数据的存储和实时访问。OTS 以实例和表的形式组织数据,通过数据分片和负载均衡技术,实现规模上的无缝扩展。应用通过调用 OTS API / SDK 或者操作管理控制台来使用 OTS 服务。
开放缓存服务OCS
在线缓存服务,为热点数据的访问提供高速响应。
键值存储KVStore for Redis
兼容开源Redis协议的Key-Value类型在线存储服务。KVStore支持字符串、链表、集合、有序集合、哈希表等多种数据类型,及事务(Transactions)、消息订阅与发布(Pub/Sub)等高级功能。通过内存+硬盘的存储方式,KVStore在提供高速数据读写能力的同时满足数据持久化需求。
数据传输
支持以数据库为核心的结构化存储产品之间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。 数据传输的底层数据流基础设施为阿里双11异地双活基础架构, 为数千下游应用提供实时数据流,已在线上稳定运行3年之久。
对象存储OSS
阿里云对外提供的海量、安全和高可靠的云存储服务。RESTFul API的平台无关性,容量和处理能力的弹性扩展,按实际容量付费真正使您专注于核心业务。
归档存储
作为阿里云数据存储产品体系的重要组成部分,致力于提供低成本、高可靠的数据归档服务,适合于海量数据的长期归档、备份。
消息服务
一种高效、可靠、安全、便捷、可弹性扩展的分布式消息与通知服务。消息服务能够帮助应用开发者在他们应用的分布式组件上自由的传递数据,构建松耦合系统。
CDN
内容分发网络将源站内容分发至全国所有的节点,缩短用户查看对象的延迟,提高用户访问网站的响应速度与网站的可用性,解决网络带宽小、用户访问量大、网点分布不均等问题。 负载均衡
对多台云服务器进行流量分发的负载均衡服务。负载均衡可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。
专有网络VPC
帮助基于阿里云构建出一个隔离的网络环境。可以完全掌控自己的虚拟网络,包括选择自有 IP 地址范围、划分网段、配置路由表和网关等。也可以通过专线/VPN等连接方式将VPC与传统数据中心组成一个按需定制的网络环境,实现应用的平滑迁移上云。
开放数据处理服务ODPS
由阿里云自主研发,提供针对TB/PB级数据、实时性要求不高的分布式处理能力,应用于数据分析、挖掘、商业智能等领域。阿里巴巴的离线数据业务都运行在ODPS上。
采云间DPC
基于开放数据处理服务(ODPS)的DW/BI的工具解决方案。DPC提供全链路的易于上手的数据处理工具,包括ODPS IDE、任务调度、数据分析、报表制作和元数据管理等,可以大大降低用户在数据仓库和商业智能上的实施成本,加快实施进度。天弘基金、高德地图的数据团队基于DPC完成他们的大数据处理需求。
批量计算
一种适用于大规模并行批处理作业的分布式云服务。批量计算可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。批量计算广泛应用于电影动画渲染,生物数据分析,多媒体转码,金融保险分析等领域。
数据集成
阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎(包括ODPS、分析型数据库、OSPS)提供离线(批量)、实时(流式)的数据进出通道。
DDoS防护服务
针对阿里云服务器在遭受大流量的DDoS攻击后导致服务不可用的情况下,推出的付费增值服务,用户可以通过配置高防IP,将攻击流量引流到高防IP,确保源站的稳定可靠。免费为阿里云上客户提供最高5G的DDoS防护能力。
安骑士
阿里云推出的一款免费云服务器安全管理软件,主要提供木马文件查杀、防密码暴力破解、高危漏洞修复等安全防护功能。
阿里绿网
基于深度学习技术及阿里巴巴多年的海量数据支撑, 提供多样化的内容识别服务,能有效帮助用户降低违规风险。
安全网络
一款集安全、加速和个性化负载均衡为一体的网络接入产品。用户通过接入安全网络,可以缓解业务被各种网络攻击造成的影响,提供就近访问的动态加速功能。
DDoS高防IP
针对互联网服务器(包括非阿里云主机)在遭受大流量的DDoS攻击后导致服务不可用的情况下,推出的付费增值服务,用户可以通过配置高防IP,将攻击流量引流到高防IP,确保源站的稳定可靠。
网络安全专家服务
在云盾DDoS高防IP服务的基础上,推出的安全代维托管服务。该服务由阿里云云盾的DDoS专家团队,为企业客户提供私家定制的DDoS防护策略优化、重大活动保障、人工值守等服务,让企业客户在日益严重的DDoS攻击下高枕无忧。
服务器安全托管
为云服务器提供定制化的安全防护策略、木马文件检测和高危漏洞检测与修复工作。当发生安全事件时,阿里云安全团队提供安全事件分析、响应,并进行系统防护策略的优化。
渗透测试服务
针对用户的网站或业务系统,通过模拟黑客攻击的方式,进行专业性的入侵尝试,评估出重大安全漏洞或隐患的增值服务。
态势感知
专为企业安全运维团队打造,结合云主机和全网的威胁情报,利用机器学习,进行安全大数据分析的威胁检测平台。可让客户全面、快速、准确地感知过去、现在、未来的安全威胁。
云监控
一个开放性的监控平台,可实时监控您的站点和服务器,并提供多种告警方式(短信,旺旺,邮件)以保证及时预警,为您的站点和服务器的正常运行保驾护航。
访问控制
一个稳定可靠的集中式访问控制服务。您可以通过访问控制将阿里云资源的访问及管理权限分配给您的企业成员或合作伙伴。 日志服务
针对日志收集、存储、查询和分析的服务。日志服务可收集云服务和应用程序生成的日志数据并编制索引,提供实时查询海量日志的能力。
开放搜索
解决用户结构化数据搜索需求的托管服务,支持数据结构、搜索排序、数据处理自由定制。 开放搜索为您的网站或应用程序提供简单、低成本、稳定、高效的搜索解决方案。
媒体转码
为多媒体数据提供的转码计算服务。它以经济、弹性和高可扩展的音视频转换方法,将多媒体数据转码成适合在PC、TV以及移动终端上播放的格式。
性能测试
全球领先的SaaS性能测试平台,具有强大的分布式压测能力,可模拟海量用户真实的业务场景,让应用性能问题无所遁形。性能测试包含两个版本,Lite版适合于业务场景简单的系统,免费使用;企业版适合于承受大规模压力的系统,同时每月提供免费额度,可以满足大部分企业客户。
移动数据分析
一款移动App数据统计分析产品,提供通用的多维度用户行为分析,支持日志自主分析,助力移动开发者实现基于大数据技术的精细化运营、提升产品质量和体验、增强用户黏性。 阿里云旗下万网域名,连续19年蝉联域名市场NO.1,近1000万个域名在万网注册!除域名外,提供云服务器、云虚拟主机、企业邮箱、建站市场、云解析等服务。2015年7月,阿里云官网与万网网站合二为一,万网旗下的域名、云虚拟主机、企业邮箱和建站市场等业务深度整合到阿里云官网,用户可以网站上完成网络创业的第一步。
Q3: SQL SERVER 2008做镜像备份
小系统每天做下数据库和文件备份就好了,如果是大系统SQLSERVER的镜像是影响系统性能的,什么双活容灾软件基本是骗钱的,一个几十个G的高并发的数据库你用个软件来实现2个文件的同步?你难道每秒复制几十个G的东西到另外一个服务器上去,这是宇宙级服务器吗?
SQL的数据库镜像其实道理很简单,你建好镜像后,你会发现2个库里的表里都会多一个字段,这个字段的值都会很长,其实就是一个唯一编码,数据库根据这个唯一编码来判断另一个库是否存在了这个数据,不存在就新增,存在就根据这个字段来UPDATE。
对于应用层怎么切换,最好是人为切换,当然你也可以数据库连接打开失败就切换,不过这样毕竟会有以外不稳定,你只要保存数据尽可能不丢失就行了。







