首页 >知识讲堂 >网站建设知识>可借鉴经验:网易运用OpenStack部署云计算平台

可借鉴经验:网易运用OpenStack部署云计算平台

2021-01-05 09:44:56 阅读(245 评论(0)

背景:OpenStack用户OpenStack开源的特点,远在天边,近在眼前,使其普及速度远快于想象。尤其受到电子商务的欢迎。携程是中国典型的OpenStack用户,自2012年以来一直在建设私有云。目前,该公司在OpenStack基础上部署了1000多个虚拟桌面,未来计划部署1.3万个。此外,爱奇艺也是参与OpenStack的用户。2012年,爱奇艺加入中国开源云联盟,与英特尔、新浪等企业开发OpenStack项目。目前,爱奇艺已成为中国视频行业最大的OpenStack技术应用程序,已应用于内容制作、广告、账户管理、用户支付和大数据分析。  不仅如此,京东商城还利用OpenStack平台接入了大量在线业务,实现了自动部署OpenStackHA、桌面云(CallCenter)以及ElasticscalingELB等功能。其中,在线业务和calcenter都是需要保持高度稳定的服务。JD.COM在OpenStack应用部署方面做出了相当大的努力,克服了OpenStack版本迭代过快和bug问题,达到了商业化运营的效果。  除JD.COM外,网易还利用OpenStack建立了自己的私人云网络服务,提供云主机支持,并将网易相册、博客等访问量较大的服务转移到云平台。目前已稳定运行近一年,中间经历了在线平稳升级和10多款新产品上线。此外,网易还根据产品自身的业务特点,开发了监控、报警、运维自动化等新功能。OpenStack简介OpenStack是一种开源IaaS实现,它由一些相关的子项目组成,主要包括计算、存储和网络。由于Apache协议的发布,自2010年项目成立以来,有200多家公司加入了OpenStack项目,包括AT&T、AMD、Cisco、Dell、IBM、Intel、RedHat等。目前,OpenStack项目的开发人员有17万人 ,来自139个国家,这一数字仍在增长。OpenStack与部分AWS接口兼容,同时还提供OpenStack风格的接口,以提供更强大的功能(RESTFulAPI)。与其他开源IaaS相比,松耦合、高可扩展性、分布式、纯Python和友好活跃的社区非常受欢迎。每六个月的开发峰会也吸引了来自世界各地的开发商、供应商和客户。OpenStack的主要子项目有:网易私有云使用Nova、Glance、Keystone、Neutron这四个组件。Compute(Nova)OpenStack的核心是提供计算虚拟化服务,负责管理和创建虚拟机。设计成便于扩展,支持多种虚拟化技术,并可部署在标准硬件上。ObjectStorage(Swift)提供对象存储服务,是一种分布式、可扩展、多副本的存储系统。BlockStorage(Cinder),提供块存储服务,为OpenStack虚拟机提供持久的块级存储设备。支持Ceph、EMC等多种存储后端。Networking(Neutron)提供网络虚拟化服务是一种可拔插、可扩展、API驱动的服务。Dashboard提供图形控制台服务,方便用户访问、使用和维护OpenStack中的资源。Image(glance)提供镜像服务,旨在发现虚拟机磁盘和镜像的注册和交付。支持多种后端。Telemetry(Ceilometer)OpenStack计费功能可以通过提供用量统计服务轻松实现。Orchestration(Heat)OpenStack中的许多组件集成,类似于AWS的CloudFormation,允许用户通过模板管理资源。Database(Trove)databasee基于OpenStack构建-as-a-service。网易私有云平台概况图1。网易私有云架构网易私有云平台由网易杭州研究院开发,主要提供基础设施资源、数据存储处理、应用开发部署、运维管理等功能,满足公司产品测试/上线的需求。图1显示了网易私有云平台的整体架构。整个私有云平台可分为三类:核心基础设施服务(IaaS)、基本平台服务(PaaS)以及运维管理支持服务,目前包括云主机(虚拟机)、云网络、云硬盘、对象存储、对象缓存、关系数据库、分布式数据库、全文检索、消息队列、视频转码、负载平衡、容器引擎、云计费、云监控、管理平台等15项服务。网易私有云平台充分利用云计算开源的最新结果,基于OpenStack社区的keystone、glance、nova、云主机和云网络服务是neutron组件研发部署的。为了深入整合其他服务(云硬盘、云监控、云计费等),满足公司产品使用和运维管理的具体需求,我们的团队在社区OpenStack版本的基础上独立开发了云主机资源质量保证(计算、存储、网络QOS)、镜像分块存储,云主机心跳报告,flat-在dhcp模式下,租户内网隔离等20多个新功能。与此同时,我们的团队在日常运维OpenStack和社区升级新版本中也总结了一些部署、运维规范和升级经验。两年多来,网易私有云平台OpenStack团队的研发坚持开源开放的理念,始终遵循"来源社区,回馈社区"的原则。在免费享受OpenStack社区不断开发新功能、修复bug的同时,我们的团队也积极为社区做出自己的贡献,帮助OpenStack社区的发展壮大。在过去的两年里,我们的团队向社区提交了近100个新功能开发/bug修复的commits和50多个社区bug修复。这些社区贡献涉及到Openstack的essex、Folsom、Havana、Icehouse、版本,如Juno。由于OpenStack的日益稳定和成熟,私有云平台已经稳定运行了两年多,为网易多达30家互联网和游戏产品提供服务。从应用效果来看,基于OpenStack开发的网易私有云平台实现了以下目标:提高公司基础设施资源利用率,降低硬件成本。以物理服务器CPU利用率为例,私有云平台将CPU平均利用率从不到10%提高到50%。提高了基础设施资源管理和运维自动化水平,降低了运维成本。借助Web自助资源的应用和分配以及云平台的自动部署服务,系统运维人员减少了50%。提高了基础设施资源的使用灵活性,提高了产品业务波动的适应性。私有云平台可以利用虚拟化技术将物理基础设施制成虚拟资源池,通过有效的容量规划和按需使用,很好地适应产品突发业务。在具体的生产环境中,为了兼顾性能和可靠性,keystone后端使用Mysql存储用户信息,并使用memcache存储token。所有服务都是为了减少对keystone的访问压力(nova,glance,neutron)keystoneclient均配置memcache作为token的缓存。由于网易私有云需要部署在多个机房中,每个机房在地理位置上自然隔离,这是上层应用的自然灾害容忍方法。此外,网易私有云还需要同时支持两种网络模式,以满足私有云的功能和运维需求:nova-network和neutron。针对这些需求,我们提出了企业级多区域部署方案,如图2所示。总的来说,多个区域之间的部署相对独立,但可以通过内网进行交换。每个区域包括一个完整的Openstack部署,因此可以使用独立的镜像服务和独立的网络模式,如区域A使用nova-network,区域B使用neutron,不相互影响,此外,为了实现用户的单点登录,区域间共享keystone,网络模式和地理位置是区域划分的主要依据。图2。多区域部署方法不同于典型的OpenStack部署,将硬件分为计算节点和控制节点。为了充分利用硬件资源,我们努力将部署设计成对称的,即任何节点的离线都不会影响整体服务。图2。多区域部署方法和典型的OpenStack部署将硬件分为计算节点和控制节点。不同的是,为了充分利用硬件资源,我们试图将部署设计成对称的,即任何节点离线都不会影响整体服务。因此,我们将硬件分为两类:计算节点和控制节点。计算节点部署nova-network,nova-compute,nova-api-metadata,nova-api-os-compute。除了计算节点的服务,控制计算节点还部署了nova-scheduler,nova-novncproxy,nova-consoleauth,glance-api,glance-registry和keystone,如图3所示。nova为外部API提供服务-api-os-compute,nova-novncproxy,glance-api,keystone。这类服务的特点是无状态,可以方便地横向扩展。因此,这类服务部署在负载均衡HAProxy后,Keepalived用于提高可用性。我们没有使用nova,以确保服务质量和维护方便-api,但分为nova-api-os-compute和nova-api-分别管理metadata。在外部依赖方面,网易私有云部署了高可用RabbitMQ集群、主备MySQL和memcache集群。图3.计算节点,控制计算节点网络规划,网易私有云主要使用nova-networkFlatDHCPManager multi-host网络模式分为虚拟机fixed-ip网络、内网浮动IP网络和外网网络。在运维方面,利用网易自主研发的运维平台进行监控和报警,功能与Nagios相似,但更强大。更重要的监控报警包括日志监控和过程监控。当日志监控保证服务异常时,第一时间发现进程监控保证服务正常运行。此外,网易私有云使用Pupet进行自动部署,并使用StackTach帮助定位bug。OpenStack各组件配置OpenStackHavana配置数百个,大部分配置都可以使用默认值,否则仅仅理解这么多配置的含义就足以让运维人员崩溃,尤其是那些不熟悉源代码的运维人员。以下将列出网易私有云中的几个关键配置项目,并解释它们如何影响服务的功能、安全性和性能。Nova关键配置my__ip=这个内网地址是用来在宿主机上生成novametadatapi请求转发iptables规则的,如果配置不当,通过169.254.169.254IP,虚拟机无法获取ec2/openStackmetadata信息;生成的iptable规则如下:-Anova-network-PREROUTING-d169.254.169.254/32-ptcp-mtcp--dport80-jDNAT\--to-destination${my_ip}:8775的另一个用途是虚拟机在resizeze、coldmigrate等操作时,与目的端宿主机进行数据通信。该项目的默认值为宿主机的外网IP地址,建议改为内网地址,避免潜在的安全风险。该项目的默认值为宿主机的外网IP地址,建议改为内网地址,避免潜在的安全风险。metadata_listen=内网地址这个项目是nova-api-从上述iptables规则可以看出,metadata服务监控的IP地址与my_ip的配置项有关,保持一致是最明智的选择。novncproxy_base_url=vncserver_proxyclient_address=${private_ip_of_compute_host}vncserver_listen=${private_ip_of_compute_host}novncproxy_host=${private_ip_of_host}novncproxy进程只在一些节点上部署,并将这些过程添加到HAProxy服务中,实现novnc代理过程的高可用性,多个HAProxy过程使用Keepalived实现HAProxy的高可用性,对外只需要暴露Keepalived管理的虚拟IP地址:这种部署方式的优点是:1)实现novnc代理服务的高可用性;2)不会暴露云平台相关节点的外网地址;3)容易扩展novnc代理服务,但也存在一些不足;1)虚拟机监控其计算节点的内网IP地址;一旦虚拟机与宿主机的网络隔离出现问题;所有虚拟机的VNC地址接口都会暴露出来。2)在线迁移会遇到问题,因为VNC监控的内网IP不存在于目的端计算节点

以上就是关于可借鉴经验:网易运用OpenStack部署云计算平台的相关介绍,更多可借鉴经验:网易运用OpenStack部署云计算平台相关内容可以咨询我们或者浏览页面上的推荐内容。我们将让你对可借鉴经验:网易运用OpenStack部署云计算平台有更深的了解和认识。

内容来源:网络,以上内容来源于网络,不代表本站观点,如有侵权,请联系删除。

推荐阅读

dbf是什么文件格式

dbf是什么文件格式?dbf是:数据库文件格式。dbf格式数据库是常用的桌面型数据库。作为一个在商业应用中的结构化数据存储标准格式,DBF格式文件得以广泛应用于各类企业及事业单位的数据交换。dbf是什么文件?是数据库文件,是一种特殊的文…查看详情

好玩的游戏排行榜,制作精良画风唯美

想要更好的去玩一款游戏,就必须要从方方面面去了解某款游戏,只有把它的简介了解清楚了,才可以很好的去玩耍,那么,在这之前我们可以看一下好玩的游戏排行榜都有什么,然后再去玩耍。1.仙梦倾城国韵修真动作类手游《仙梦倾城》火…查看详情

相片处理软件哪款好用?不要错过这几款

对自己拍的照片不满意,先不要着急删除,不妨试一试相片处理软件,这些软件有着强大的功能,不仅可以完成照片ps的处理,同时还可以进行人脸美容,或者是更换背景等等,满足大家的需求,那么到底哪款好用呢?还是参考下面的内容吧。…查看详情

无纸化会议签到系统的优势,有效提升办公效率

公司企业召开会议签到环节是必不可少的,在日常工作中会发现这一环节十分复杂且工作量很大,而且人们排队时间也很长,各类数据汇总也是一大问题。如果企业选用优质的会议签到系统这些麻烦就不复存在了,还会提高签到的效率,让数…查看详情

疫情过后爆发的20个行业有哪些? 这些行业得注意了

  三年疫情,给我们的生活带来一片阴霾,人类面临着一场艰难的挑战。可是,人定胜天,通过跟新冠肺炎的艰苦抗争,人类终于战胜病毒,迎来了美好的明天。下面小编就给大家来详细介绍一下疫情过后爆发的20个行业有哪些这一块的内容…查看详情

2022线下推广怎么做 线下推广方法技巧

  随着网络的发展壮大,  网络上的产品种类越来越多、价格相对于线下的电商也比较较低,  对实体店的冲击还是影响很大的。  那对于开实体店的朋友,  又该怎样进行推广引流呢?下面万商云集小编就简单的给大家介绍一下20…查看详情

个人商标注册需要什么?告诉你不用营业执照的都是骗子

如今重视商标保护的不再仅限于企业,许多人的商标保护意识也在随着社会发展而提高。但由于商标注册时需提高的材料众多,而大多人对此也并无太多了解,接下来将由小万为大家讲解一下,个人商标注册需要什么材料。图片来源于网络 …查看详情

全本已完结小说排行榜,每一本都是经典之作

相比较影视剧来说,读小说可以给大家带来更大的想象空间,所以不少人在闲暇的时候,都有看小说的爱好而读小说,更希望能够找到一些完结的经典小说,这样才能够体验畅爽阅读的快感,那么全书已完结,小说排行榜有哪些呢?每一本都…查看详情

自己有货源怎么找客户

  自己有货源是一件好事,但是如何找到客户是至关重要的一步。下面是一些方法,可供参考。  一、社交媒体  社交媒体是现在最流行的营销渠道之一。通过建立品牌形象、发布有关产品的信息、与客户互动等方式,可以快速找到目…查看详情

internet临时文件可以清理吗

windows-ssd临时文件哪些可以清理?临时文件顾名思义就是一些临时存储的文件当然可以删除可能是文档打开时的暂存,或者是internet页面的暂存,或者是下载什么东东的暂存,也可能是安装软件或者补丁的临时文件。。。datae盘什么文件可...查看详情

如何做小程序?讲讲模板制作小程序的详细步骤

对于商家来说,“有店没客流,回头客难留,异地销售难”是大多数品牌在门店布局、线下经营、获客盈利时的哀与愁。在零售企业数字化发展如火如荼的今天,很多商家通过场景化小程序搭建、专题内容丰富打造,实现良性竞争。而如何做…查看详情

nodejs属于前端还是后端

Node.js是属于前端还是后端的技术?一个是基于浏览器端的javascript(前端JS)一个是基于服务端的javascript(后端Node.js)语法一样组成不一样JavaScript:ECMAScript(语言基础,如:语法、数据类...查看详情

微信群发营销软件有哪些 微信群发营销软件排行榜

  现在的微信除了大家平时社交和沟通以外,很多人在微信上做营销也是很常见的,下面小编就给大家来详细介绍一下微信群发营销软件有哪些 微信群发营销软件排行榜这一块的内容。希望能帮助到大家!  微信群发营销软件排行榜…查看详情

远程桌面软件推荐有哪些?这些软件就很不错

有些人可能在电脑操作的时候,遇到不明白的问题需要远程操控,其实在远程操控的时候,虽然说有些软件是可以直接进行的,但是并不是所有的软件都能够安全因此在进行远程操控的时候下载一些比较好的软件也是非常重要的。那么远程桌…查看详情

什么是商家编码?怎么填写?

  优质答案(1)  商家的ID号,是指你的淘宝账号。店铺名可以跟ID不同也可以相同,建议注册时账号时,跟店铺相同,这样有助于消费者识别,有利于搜索引擎收录。  店铺号,直至你店铺,在手机上面,注册认证开通好以后,可以自…查看详情

首页

产品

万商学院

客户服务

会员中心

当前站点

h

选择站点

全国站成都

一 客户顾问-张三

已为0个客户提供专业互联网服务咨询
  • 手机号码
  • 验证码图形验证码换一张
  • 短信校验码

    电话咨询

    在线咨询