王苏扬:南钢企业云发展历程及未来规划|V课堂第102期

企业动态
第102期【智造+V课堂】邀请南钢集团云系统服务部部长 王苏扬精彩分享《南钢企业云发展历程及未来规划》。王总从南钢企业云的构架、构建手段、应用效果以及未来的发展规划,跟大家分享了南钢企业云发展的点点滴滴。

第102期【智造+V课堂】邀请南钢集团云系统服务部部长 王苏扬精彩分享《南钢企业云发展历程及未来规划》。王总从南钢企业云的构架、构建手段、应用效果以及未来的发展规划,跟大家分享了南钢企业云发展的点点滴滴。

一、分享嘉宾

[[220942]]

金恒信息科技股份有限公司云系统服务部部长    王苏扬

1. 个人简介

  • 江苏金恒信息科技股份有限公司云系统服务部部长兼信息技术研究院院长助理;
  • 曾参与南钢核心网络升级、无线网络建设、安全准入建设、服务器虚拟化及ERP、MES、计量、检化验服务器及存储更新升级等项目。

2. 专业领域

  • 企业信息化基础架构整体规划与实施
  • 企业信息安全技术架构规划与实施

二、分享主题

《南钢企业云发展历程及未来规划》

三、分享大纲

1.南钢及金恒简介

2.南钢企业云架构概述

3.南钢企业云构建手段及应用效果

4.南钢企业云未来的规划

四、原文实录

原文实录context:

1.  南钢及金恒简介

南钢1958年3月建厂,作为国家特大型钢铁企业,“精品板材+优特钢”生产基地,曾获国家级高新基础企业称号、亚洲质量奖、全国质量奖。2013年,南钢整体产能达到1000万吨。2015年南钢进行事业部制改革,提出“一体三元五驱动”战略,以金属新材料为本体,结合节能环保、互联网+、智能制造,打造综合服务提供商。2017年钢铁企业竞争力评级中,南钢在03家企业中排名第八,未来将为创建国际一流受尊重的企业智慧生命体而努力。

江苏金恒信息科技股份有限公司是南钢控股子公司,前身为南钢信息与自动化公司,总部位于南京国家级新区江北新区,注册资本1亿元,2017年预计销售额2亿元、利润3000万元。

金恒主要为客户提供两化融合咨询与IT规划设计,智能产品研发、生产与销售以及信息化、自动化、智能化、系统集成等综合工程服务。产品与服务覆盖钢铁、有色、化工、医药、造船、物流、机械、公共服务等多个行业。

2. 南钢企业云架构概述

南钢从2005年开始信息化进程,期间完成主干网络、ERP、MES等大型信息化系统和基础架构的建设,在历经9年的运用和优化后,南钢自2014年引入云概念,开始建立企业云,从架构部署模式上分类,我们目前已完成企业私有云的建设,如今计算和虚拟化长期处于成熟的曲线之中,存储在“软件定义”的路径上得到很好的发展,从虚拟化,到分布式存储,在上升至超融合架构(融合致简,深度优化) ,南钢企业云正随着技术设施的完善不断深化应用。当前正推进与阿里进行合作,推动公司公有云应用及混合云服务的前进步伐。

3. 南钢企业云构建手段及应用效果

遵循云服务的设计理念,围绕敏捷、安全、高效的系统响应能力作为架构设计的核心思想,架构设计由低到高分为AaaS、IaaS、Paas、SaaS四层规划未来信息系统基础架构,逐步实现资源整合、资源池化、资源按需分配的目标,我们针对钢铁信息化、智能化的特点,理解每个层次:

(1) AaaS感知即服务层Aware-as-a-Service

智能感知系统是未来南钢智能制造的最基础的工作,通过对基础传感设施的完善,收集各类生产、制造的过程数据,为大数据分析工作提供数据支持。根据公司1+X的理念,通过构建感知服务层,使各感知设备可以按照统一的标准和规范,进行数据的采集、传输和存储,逐步构建诸如二维码管理平台、M2M数据采集平台、RFID数据存储平台、统一视频监控平台等,为各类分析提供统一的业务感知数据。

(2) Iaas基础设施即服务Infrastructure-as-a-Servic

基础设施即服务是指把数据中心、基础设施硬件资源,通过整合与优化,结合虚拟化技术,实现应用和服务器的整合率普遍在10(也就是一台服务器运行十个应用)以上,这样能有效降低使用成本。

(3) PaaS平台即服务Platform-as-a-Service

平台即服务是指将操作系统、应用开发环境(数据库、中级间)等平台级产品以服务的方式提供给用户使用,通过Pass服务方式,是软件开发人员或信息系统建设用户可不购买相应的软件基础平台软件,实现快速开发和应用部署的需求。

(4) SaaS软件即服务Software-as-a-service

软件即服务是随着互联网技术的发展和应用软件的成熟,逐步兴起的一种完全创新的软件应用模式。它是云计算领域发展最成熟、应用最广泛的服务,它通过网络直接为用户提供软件应用程序的服务方式,这种服务模式大大降低了软件的使用成本,并且由于软件是托管在服务提供商服务器上,减少了客户的管理维护成本,可靠性也更高。

以上四层服务资源,通过统一的资源管理平台,实现对各类资源的用户管理、安全管理、设备生命周期等资源的管理,实现需求按需申请,按需计费,快速使用的目标。架构设计图示:

PC虚拟化架构

图1 PC虚拟化架构图

随着云计算技术的发展,虚拟化技术已成为有效解决提升服务器资源使用率、降低后期运营成本等问题的有效利器。通过虚拟化技术屏蔽了不同服务器的硬件差异,可以在一台物理服务器上安装多套操作系统及应用服务,并结合虚拟化的服务高可用技术和动态分区迁移技术,还可以极大地提升系统的高可靠性。

通过PC虚拟化的部署,南钢私有云具备了提供云服务之“基础设施即服务”的基本要求,2014年形成的系统架构可作为南钢的x86服务器云平台的基础,是南钢“1+X”项目规划与架构设计理念的基础。服务器虚拟化建设后,为南钢提供平稳高效的企业私有云服务,构建基于开源软件TOMCAT集群,对南钢子公司鑫武海运,三金地产、金贸公司提供了基础设施到软件层面的服务,实现了以下目标:

  • 实现服务器6:1整合,提高服务器平均使用效率,降低包括耗电量、机房、机柜、冷气空调等各项运营成本;
  • 利用虚拟化的动态迁移以及高可用技术,提供系统运营效率,实现计划性维护作业零停机;
  • 利用服务器的虚拟化技术实现软件应用系统的投资保护,不再担心旧系统的兼容性、维护和升级等一系列问题;
  • 建立南钢私有云基础,旨在全面实现对南钢各类x86平台的应用系统提供支持和服务。

企业开源云存储架构:

开源云存储是实现云计算系统架构中的一个重要组成部分。随着信息技术的不断发展,企业数据规模日益膨胀。由于传统的SAN (Storage Arew Network) 或NAS(Network Attached Storage) 存储技术在存储容量和可扩展性上存在瓶颈,并且在硬件设备的部署数量上也存在一定限制,这使得企业升级系统的成本大大增加。开源云存储采用可扩展的分布式文件系统,并使用廉价的PC机来进行系统部署,从而使得整体存储架构能够保持极低的成本。

南钢2016年针对当前非结构化存储空间需求量大,传统商业存储资金投入大,围绕建立低成本、高性能、高扩展的存储解决方案开展了对分布式文件系统的开源云存储架构的研究和部署工作,该架构目前可适用非结构化数据的存储,如:云盘、图片或视频的存储;或与SAN存储结合,做为近线存储或备份系统使用。

建立在集群上的MFS分布式文件系统能够统一管理大量物理资源,并将这些资源虚拟化为巨大的虚拟化资源池,有效地将大规模的计算资源以可靠服务的形式提供给用户。MFS以服务的形似提供存储,利用资源的思想和效用计算非常相似,基于计算资源的使用量付费,资源可以被看成一种计量服务,可以对外租售。MFS分布式存储以集群为基础,可以提供最大限度的灵活性和可伸缩性,可以帮租用企业节约硬件购置成本,维护资源成本,节约机房用电成本。

云存储、通讯及消息、业务运行系统和软硬件基础资源这四个基本要素构成了一个面向终端用户的操作系统平台,或称为企业云存储,其能够通过各种浏览器或手机App及PC机随时访问,满足用户在任意时刻查看信息的需求。

采用MFS(Distributed File System)分布式文件系统的存储方式,实现数据层面的共享。包括主控服务器(同时配置备用主控服务器以便在故障时接管服务),多个数据服务器(存储节点),前端接入终端服务消息平台及各业务子系统数据库服务器。

主控服务器Master负责维护整个文件系统的命名空间与路由,以提供用户使用。该分布式系统架构最大的缺点是主控服务器为单点结构,一旦出现故障将造成全系统瘫痪,故在实际应用中采用HA等容灾备份,以便在故障时接管服务。主控服务器的命名空间结构采用目录树结构,建立元数据到数据服务器的映射关系,文件之间的关系等。为了提高检索效率,可以采取元数据内存化管理方式。主控服务器通过心跳线方式轮询数据服务器(DS),当发现有DS宕机时,对一些副本数不足的文件(块)执行复制计划,也可根据DS数量增减需要执行副本迁移任务。

数据服务器主要解决海量数据的低成本存储和快速检索,提高数据存储的安全性问题。其解决方案是将大块数据划分为小数据块,然后均匀分布到多台数据服务器上,每个数据服务器存储的文件数量就少了,对于大文件数据的处理方法是将大文件划分成多个相对较小的片段存储在多个数据服务器上,把单个数据服务器上存储的文件数降到单机能解决的规模,以此降低存储设备成本和提高效率,并通过多副本复制来提高数据安全性。

MFS分布式开源云存储解决了海量数据的存储问题,它既可以提供专业的存储解决方案,又可以独立发布存储服务。云存储将存储作为服务,它将分别位于网络中不同位置的大量类型各异的服务器,设备通过集群应用、网格技术和分布式文件系统等集合起来协同工作,通过应用软件进行业务管理,并通过统一的应用接口对外提供数据存储和业务访问功能。在使用一个独立的存储设备时,我们需要了解该设备的型号、接口以及该设备所使用的传输协议;使用开源云存储,则不存在上述问题。对用户来说,云存储系统中的所有设备都是透明的,用户不必关心云存储系统内部是如何实现的,也无需了解存储的提供方式和底层基础,任何一个授权用户都可以通过网络来使用云存储系统提供的数据存储和业务访问服务。

网络虚拟化架构

南钢网络虚拟化架构采用的是VSS+Stack+ethChannal的模式,利用VSS集群+Stack堆叠+ethChannal聚合技术对原有网络架构进行了优化,简化了整体网络结构,提高了网络性能,降低了运维复杂度,提升了整体网络的健壮度,给各类业务带来前所未有的敏捷体验。

在构建网络虚拟化架构之前,原有南钢网络存在很多的问题及不足:

(1) 核心节点设备虽部署了双机,但采用的是HSRP冗余配置,不支持虚拟化,造成:

  • 数据转发过程中只有一台设备在工作,另外一台设备处于备用状态且造成核心节点之间、不同层级之间的链路无法聚合。
  • 主备机运行模式,网络中存在较多的STP应用,计算资源和链路资源浪费严重,且发生宕机切换时会造成网络丢包,实时性无法保证。

(2) 核心层网络结构为风车形,架构冗杂,不够简单、清晰,造成:

  • 构架复杂,动态路由协议表项庞大,影响设备效能,且造成故障和问题定位不够快速,运维效率低下。
  • 分布层设备上联,采用三层路由接口且连接核心主备机,涉及到较多的IP子网,全网路由比较多。

(3) 无专用数据中心网络,还是传统的利用园区核心交换机提供对外服务,将无法适应新业务形态下数据中心内部数据交换剧增的趋势,且对外提供服务能力有限,严重影响新业务的快速上线。

VSS和Stack作为一种网络设备虚拟化技术,具有很强的横向整合作用,即在不改变网络物理拓扑连接条件下,将网络同一层的多台设备横向整合虚拟化为一台设备,不仅摒弃了复杂的二层双上行链路加环网协议的组网,提高了网络故障的收敛时间,从逻辑上简化了网络架构同时也简化了网络的管理成本。南钢具体的应用手段如下:

(1) 园区网

将每个核心节点机房部署的核心交换机双机利用VSS虚拟成一台逻辑设备;办公区分布层网络利用Stack整合为一个整体,同时核心层之间、分布层与核心层之间的链路通过ethChannal技术聚合为单条链路,降低设备三层互联的IP子网数量和全网路由条目,减少三层设备动态路由协议IP路由表大小,提高三层转发的效率。另外,对现有核心节点进行优化,将公司一炼铁核心节点机房功能下移,作为一个区域汇聚点,不再担任核心节点角色。通过上述措施可充分简化现有网络结构,使双机、多链路能同时工作,有效发挥设备的效能,提高数据转发和运维效率,最终提升整个网络的健壮度。

(2) 数据中心

在云计算时代下,数据中心内部一般采用分布式架构处理海量数据存储、挖掘、查询、搜索等相关业务,服务器和服务器之间需要进行大量的协同工作,在数据中心内部产生了大量的东西向流量,造成传统数据中心南北向流量模型向云数据中心的东西向流量模型转变,数据中心的流量模型不再是传统数据中心的收敛模型。另外,数据中心普遍采用虚拟化技术,虚拟化使单位计算密度极大提升,物理服务器吞吐量将比虚拟化之前成数倍提升,且为了更大幅度地增大数据中心内业务可靠性、降低 IT成本、提高业务部署灵活性,需要虚拟机能够在整个数据中心范围内进行动态迁移。

南钢在信息公司核心节点机房和计能处核心节点机房各部署了2台数据中心级框式核心交换机;每个机柜内部各部署2台数据中心级盒式接入交换机。利用VSS将2个机房共4台核心交换机远距离连接并虚拟成1台逻辑设备,实现主数据中心和灾备数据中心核心网络在控制层面的统一且两地之间实现100Gbps级别的高速互联,保证2个数据中心之间的无缝衔接;利用Stack将每个机柜的2台接入交换机各虚拟成1台逻辑设备,每个逻辑接入设备通过ethchannal链路聚合上联逻辑核心设备,上联链路速率高达40Gbps。通过VSS+Stack+ethChannal以及高性能数据中心级交换机构建出无间断、无阻塞、无损的数据中心网络,满足高速率、高效率数据中心内部数据交换需求,同时数据中心网络整体的架构健壮度以及对外服务能力大幅提升。另外,利用业界最高的4:1虚拟化技术组建跨数据中心无阻塞的大二层网络,支持10GE/100GE服务器的混合接入组网,保证虚拟机的大范围迁移以及用户业务的灵活部署和不间断。

4. 南钢企业云未来的规划

随着云计算业务的迅猛发展,企业级云服务业务衍生出两种模式,即“收入导向型”与“流量导向型”,与之对应的分别为“传统政企托管服务”和“互联网内容引入”。传统的政企托管服务通常是托管企业IT数据中心,包括各种类型的IT设备,小型机、机架/刀片服务器、PC服务器、存储盘阵等,该数据中心面向企业内部员工或企业产品的客户,访问量较小;此类型服务主要注重企业云服务的服务的质量,以及系统和数据安全性,通常对价格不是很敏感。并且该类服务属地化要求极强,一般要求托管IT系统与企业在同一地市,除异地灾备外基本不可能跨省提供服务。而“互联网内容引入”模式主要托管互联网应用系统、面向公众互联网用户,访问量和流量均很大。有规模大、访问用户多、注重网络带宽及网络连接的稳定性、非常注重单价格和成本等特点。

通过对比可以看出,“政企托管服务”与“互联网内容引入”在表现形式、服务特点、属地化要求等方面均有不同之处:

  • “政企托管服务”模式,客户更注重服务质量,属地性强,因此可依托各地市机房,提供满足政企和传统行业客户需求的高质量IDC服务。(互联网数据中心服务)
  • 互联网内容引入模式应以流量为导向,注重低成本,并以适合以大规模、集中化的方式提供服务 。
  • 通过分析可以看出企业对云计算技术的要求从单纯的降低成本变得更加以客户为导向。

在信息化飞速发展的大背景下,公司非常重视信息化的发展。在 “一体三元五驱动”发展战略的指引下,信息技术产业不断壮大,公司以市场需求为导向,以自主研发为基础,以科学管理为手段,努力发挥公司两化融合优势、并持续引进新技术,学习、掌握并消化,形成自己的企业云体系。在未来的3~5年,计划完成3S服务打造:即制造应用服务、移动应用服务和数据分析服务,为用户提供卓越体验、优质服务。使公司成为云服务领域的一流企业。

经过十多年的实践积累,公司形成了存储虚拟化+计算虚拟化+安全防护三位一体的企业私有云体系,通过存储虚拟化将存储池化。

公有云方面,近期目标:提升云主机的服务能力,完成基础准备工作,完善技术保障建设。通过与公有云厂商合作,以轻资产模式构建完整的云上数据中心,提供快速交付的、可计量的弹性资源;随后,基于构建的公有云平台,建立共享区、灾备区、测试区。结合实际场景按需非配,构建南钢特有的公有云+私有云+共享云+灾备云+测试云的混合云架构。

中期目标:具备中小型制造型企业的SaaS服务能力。云时代的到来,一切的基础设备、IT架构、运维管理、解决方案都将以服务的形式交付。中期目标是打造SaaS服务能力,让公司业务部门只需要专注于业务创新需求,不需担心架构的影响。

远期目标:3~5年完成3S服务打造:即制造应用服务、移动应用服务和数据分析服务,为用户提供卓越体验、优质服务。

具体措施

(1) 概述:

数据中心(Data Center DC) 是数据大集中而形成的集成ICT应用环境,是数据计算、网络传输、 存储的中心,已成为支撑企业业务运营的最关键基础设施。在云计算时代,如何构建支撑云业务长期发展的数据中心基础架构,是各大企业和运营商的核心关注点。

在本次数据中心架构规划中,将敏捷做为本次规划的核心目标。如何实现数据中心对应用需求的快速响应,如何保障数据中心的数据安全和如何提升数据中心的故障恢复能力,都是规划需要考虑的问题。结合以上目标,在敏捷数据中心的规划中,采用面向云计算的设计思想,使用“池”的概念设计整个数据中心系统,将云数据中心分为三个资源池:网络池、存储池和计算池,每个池均可实现动态的资源调整,按需供给和分配资源。

a. 网络池(已建立)

网络池是指数据中心的各种网络通信设施,基于统一的高线速、低延时、无丢包的万兆网络交换架构设计,并针对虚拟化的网络安全进行统一管理,使网络系统得到更好的优化和加固。

b. 存储池(本年度建立)

存储池是指将数据中心的各类存储资源,利用相关技术,实现所有的存储资源对外模拟为一个大的完整的存储池资源,按照用户存储需求,在存储池中进行资源分配,从而提高存储资源的使用率,提高数据存储的安全性。

c. 计算池(计划建立)

计算池是指在数据中心承担数据运算和用户响应的计算型资源,主要包括内存、CPU等硬件资源,一般采用服务器虚拟化的形式,构建基于统一计算架构的虚拟化计算平台。

采用具有动态架构的云计算操作系统,保证数据中心的先进性、安全性、开放性、兼容性、共享性、可升级及扩充性,规划敏捷数据中心架构如下:

d. 存储池设计与规划

在存储池设计与规划中,将引入存储虚拟化和hdfs分布式存储技术。

  • 存储虚拟化技术:能够对异构存储资源进行池化和整合,使系统具备数据安全的、平滑的跨存储阵列的数据迁移能力,提高使用和管理效率,合理降低TCO;
  • 分布式存储技术:引入是为了满足大量的非结构化数据(如:视频、照片、文档)存储,构建低成本存储的最佳解决方案。

e. 计算池设计与规划

计算池设计与规划中,除继续扩展现有已实施的x86服务器虚拟化和power小型机服务器虚拟化技术,达到提高计算资源的使用率,减少在线维护的停机时间目的外,还将引入应用缓存技术和hadoop大数据分析平台。

  • 应用缓存技术:使用缓存主要源于热点数据的存在,大部分网站访问都遵循28原则(即80%的访问请求,最终落在20%的数据上),所以我们可以对热点数据进行缓存,减少这些数据的访问路径,提高用户体验。
  • Hadoop大数据分析平台:hadoop系统是一个开源的大数据生态圈,包括除hadoop系统,还包括Hive、HBase、Storm等众多NoSQL组件,是传统的关系型SQL数据库的补充,适合于非结构化数据的大数据分析和业务处理。

(2) 数据存储平台建设

1)存储虚拟化建设

随着数据中心在企业发展中扮演的角色越来越重要,数据中心的整合趋势也是势在必行,而虚拟化技术使得其在数据中心整合进程中大放异彩。随着用户数据中心整合需求的日趋强烈,存储虚拟化技术在各供应商之间的“壁垒”开始被打破,前端计算资源已可以分配到不同的物理服务器上,进行负载均衡和安全隔离,但数据存储成为了关键单独故障瓶颈,存在重大安全隐患。存储虚拟化技术有效的解决了此问题,此外存储虚拟化技术还对异构存储资源进行池化和整合,提高存储资源的使用效率和存储运维工作的管理效率,合理降低TCO。

此外,存储虚拟化技术越来越多的被应用于有效提升核心生产系统的业务连续性,数据安全性以及平滑的跨存储阵列的数据迁移中。

存储虚拟化技术将整个SAN中的各种存储设备整合成一个巨大的“存储池”,使得用户充分利用存储资源并可按需分配存储空间、性能和功能,其主要功能如下:

  • 帮助企业用户构建统一、合理的、高可扩展的存储架构,解决传统存储架构的单存储故障;
  • 统一管理存储系统,把多个存储系统整合成单一的存储池,其兼容市面上常见主机系统和存储产品;
  • 迁移过程无需停机,支持7X24小时业务不间断运行,迁移过程主机系统和应用不受影响;
  • 提供快照、数据复制等功能,做到跨存储及跨地域的数据保护;
  • 采用存储虚拟化技术可方便的帮助用户实施分级存储。

在存储池构建时,需要引入诸如:IBM SVC或EMC Vplex等存储虚拟化设备,对南钢现有的存储进行整合,并适当新增少量存储,使存储资源能够达到解决存储层单点故障的问题。

2)分布式存储建设

分布式存储技术利用高吞吐率网络技术为依托,一方面高效地整合管理网络存储资源,另一方面对外提供友好的接口,发布便捷的网络数据存储服务。

分布式存储综合使用了虚拟化、分布式技术、集群应用、网格技术、负载均衡等技术,将网络中大量的存储设备通过软件集合起来高效协同工作,共同对外提供低成本、高扩展性的数据存储服务。

分布式文件系统具有价值主要包括:

  • 高可扩展性:云存储系统可支持海量数据处理,资源可以实现按需扩展;
  • 低成本:云存储系统应具备高性价比的特点,低成本体现在两方面, 更低的建设成本和更低的运维成本。硬件投入成本约为同类商用产品价格的1/3。
  • 无接入限制:相比传统存储,云存储强调对用户存储的灵活支持, 服务域内存储资源可以随处接入,随时访问;
  • 易管理:少量管理员可以处理上千节点和PB级存储,更高效的支 撑大量上层应用对存储资源的快速部署需求。

主要应用场景包括:非结构化数据的存储,如:云盘、图片或视频的存储;与SAN存储结合,做为近线存储或备份系统使用。

分布式文件系统的使用,会极大的提高存储系统的存储成本和使用安全性。对于南钢未来大量数据的收集和保存需求,具有非常大的使用价值。

3)建立统一数据备份平台

现有带库备份管理系统一套,采用IBM TSM 5.3,与南钢ERP系统同步建设,在2007年底运行。主要对ERP系统数据进行备份。但随着虚拟化技术的使用,现有备份软件无法对虚拟机备份。此外,配套的硬件设备是IBM TS3310磁带库,配备了30个磁带槽位用于数据备份,预计可备份数据90TB。由于数据备份要保留多版本,且对保留时间有一定要求,因此可用备份磁带空间不足,目前ERP系统数据仅保留最近20天的备份数据。

(3) 应用t系统优化与完善

1)分布式应用集群环境建设

应用服务运行环境的快速移植、部署和高可用性,一直是IT架构追求的技术方向,应用运行环境从单机到双机环境,进而演进到集群环境,如今再次迈进分布式集群环境的高度。分布式应用集群环境,可以充分发挥应用系统的快速部署及结构差异化的特性,实现整体基础架构资源的模块化管理及有效利用率大幅提升。

公司主要有JAVA和.NET语言开发平台,产品体系中包含C/S模式基于JAVA语言的移动应用平台,基于B/S模式的普通JAVA应用平台,.NET应用平台。移动应用中船板定制、移动CRM、移动南钢等系统应时而出,成果显著。

公司当前的两大语言产品中,多采用单节点应用+数据库的传统网站架构方式,有单点故障的风险。随着信息系统的大力建设,用户数量不断增加,访问量持续增大,对现有应用架构的高可用、高性能、可扩展性提出了潜在的要求。因此,探索分析大型应用架构的特征,实现公司相关信息系统平台,向高可用、高性能、易伸缩、可扩展、安全的大型架构渐进持续发展。

a. JAVA应用平台

公司当前java平台以小型应用为主,采用单机应用服务,单数据库实例的发布方式。随着平台功能的不断完善,逐步构建一个高性能、高可用、伸缩性、可扩展、安全的架构,实现符合企业信息化战略发展的系统架构支撑。主要内容包含:

  • 负载均衡——负载均衡技术为一个应用构建一个有多台服务器组成的服务器集群,将并发访问请求分发到多台服务器上处理,避免单一服务器因负载压力过大而响应缓慢,使用户请求具有更好的响应延迟特性。负载均衡有硬件和软件形式。硬件负载均衡设备有F5,软件负载均衡如LVS、Haproxy、Nginx等。
  • 构建集群——集群技术是一组相互独立的、通过高速网络互联的一组计算机,并以单一系统的模式加以管理,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益。集群有2个以上的服务器提供相同服务,因此可以提供更好的并发特性,当有更多用户访问的时候,只需要相机群中加入新的机器即可,同时因为一个应用有多台服务器提供,当某台服务器发生故障时,请求会转发至集群中其他正常的服务器上,使服务器故障不会影响用户使用。
  • 动静内容分离——动静分离是让动态网站里的网页根据一定规则把不变的资源和经常变的资源区分开来,动静资源做好了拆分以后,我们就可以根据静态资源的特点将其做缓存操作,实现访问加速。
  • 缓存技术——缓存是将数据存放在距离计算机最近的位置以加快处理速度。缓存是改善软件性能的重要手段,缓存除了可以加快数据访问速度,还可以减轻后端应用、数据库的负载压力。因此,可以根据我们各平台的特点,合理引用缓存技术,改善系统性能。
  • 高可用数据——创建数据库集群,避免单点故障的同时提高数据库性能。

总体部署图

b. 移动应用平台

针对公司的移动应用平台,应用服务为单点故障源。随着移动应用的大力建设,用户数量不断增加,访问量持续增大,对现有移动应用架构的高性能,可扩展性提出了潜在的要求。因此,在未来有需求的项目中引入缓存层,包括数据库缓存、文件缓存等技术。进一步提升移动应用的可靠性、可用性。并以数据云平台为基础支持,通过负载均衡云计算的技术,实现系统性能、资源的最优化调度,为用户提供7*24小时不间断的高效优质服务。

利用缓存系统改善网站性能:

使用缓存主要源于热点数据的存在,大部分网站访问都遵循28原则(即80%的访问请求,最终落在20%的数据上),所以我们可以对热点数据进行缓存,减少这些数据的访问路径,提高用户体验。Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Redis 是一个高性能的key-value数据库。和Memcached类似,它支持存储的value类型相对更多,与memcached一样,为了保证效率,数据都是缓存在内存中。Redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部分场合可以对关系数据库起到很好的补充作用。

c. NET应用平台

借力公司对外转型发展的契机,.NET平台的架构需求日益增长,实现架构平台的高效、稳定、可靠,方能为公司的发展提供强有力的技术支撑。

当前.NET平台应用多采用基于单机的服务器管理模式,经历多年的项目建设,单台应用服务器上发布了多个关键应用。单台服务器都可以对多个应用提供服务,能够满足我们的内部需求。单机应用毫无疑问有单点故障的风险,所建立的灾备系统无法实时在线备援,依旧需要人为干预。根据公司.NET平台的特点,适宜采用反向代理创建集群的架构。

利用反向代理增强系统性能:

反向代理是处在web前端的服务,可以实现负载均衡的功能,通过负载均衡构建的应用集群可以提高系统总体处理能力和伸缩能力。此外当用户请求达到时首先访问反向代理服务器,反向代理服务器将缓存的数据返回给用户,如果没有缓存数据则会继续走应用服务器获取,减少了获取数据的成本。进而改善网站高并发情况下的性能。

创建集群提高应用服务可用性:

在前端引入反向代理系统,将冷备系统激活起来,事实上形成水平上的扩展,以负载均衡集群的方式对外提供服务。形成一个可靠、安全、可伸缩、易维护的应用平台。同时在未来当某些应用访问量升高时,通过增加服务器节点达到整个服务器集群的性能提高,使其他应用也会受益。

2)综合数据服务平台建设

传统的数据库系统是关系型数据库,这些数据库已经在我公司的MES系统、ERP系统中得到了广泛应用。开发这种数据库的目的是处理永久、稳定的数据。关系数据库强调维护数据的完整性、一致性。传统关系数据库为了保证“通用性”的设计而带来了功能复杂,性能开销大,价格昂贵

当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。

a. OLTP数据库

也称为面向交易的处理系统,其基本特征是顾客的原始数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果。

这样做的最大优点是可以即时地处理输入的数据,及时地回答。也称为实时系统(Real time System)。衡量联机事务处理系统的一个重要性能指标是系统性能,具体体现为实时响应时间(Response Time),即用户在终端上送入数据之后,到计算机对这个请求给出答复所需要的时间。典型性数据库代表为:ORACLE、DB2、SQLServer、MYSQL等常用关系型数据库。

b. OLAP数据库

随着数据的积累,用户的查询需求也越来越复杂,涉及的已不仅是查询或操纵一张关系表中的一条或几条记录,而且要对多张表中千万条记录的数据进行数据分析和信息综合,传统关系型数据库系统已不能全部短时间内响应数据处理的复杂查询要求。因此数据仓库的出现,专门设计用于支持复杂的分析操作,侧重对决策人员和高层管理人员的决策支持,可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理。在数据仓库的设计中使用到了诸多提高数据查询性能的特性,诸如:列式存储、数据压缩、数据分区等技术,这些技术的使用都有利于提高数据的处理分析速度。典型性数据仓库产品有SAP HANA、HP Vertical、IBM Netezza等。

传统关系数据库已可解决传统的数据分析与数据挖掘工作。但随着传感器的广泛使用,数据采集更加方便,这些传感器会连续地产生数据,如实时监控系统、数据采集、图像标识等。这些数据最大的特点就是海量,因为它们每时每刻连续不断地产生,但与其他的海量数据不同,流数据连续有序、变化迅速,而且对处理分析的响应度要求较高,因此对于流数据的处理和挖掘往往采用不同的方法。传统的关系型数据库并不能够很好地解决海量数据带来的问题,单机的统计和可视化工具也变得力不从心。一些新的数据管理系统如并行数据库、网格数据库、分布式数据库、云平台、可扩展数据库等孕育而生,它们为解决海量数据提供了多种选择。

c. NoSQL数据库:

NoSQL(NoSQL = Not Only SQL),指的是非关系型的数据库。非关系型数据库以键值对存储,它的结构不固定,每一个元组可以有不一样的字段,每个元组可以根据需要增加一些自己的键值对,这样就不会局限于固定的结构,可以减少一些时间和空间的开销。它们可以处理超大量的数据。它们运行在便宜的PC服务器集群上。PC集群扩充起来非常方便并且成本很低,避免了“sharding”操作的复杂性和成本。它们击碎了性能瓶颈。通过NoSQL架构可以省去将Web或Java应用和数据转换成SQL格式的时间,执行速度变得更快。典型性数据库代表为HBASE、HIVE等。

3)大数据分析平台建设

当前基于公司成熟的业务信息系统(ERP、MES、EMS等),利用SAP及HANA数据库软件建立数据中心和数据仓库,自动提取各类异构数据并进行集中展示。随着公司信息系统的大量应用,系统中存储了大量的图片,文档,音频等非结构化数据,这些非结构化数据的存储和查询对传统计算机系统来说是个巨大的挑战,普遍存在查询慢,管理手段复杂的问题,集中存储、集中计算无法处理巨大的数据量,无法实现高并发,实时获取和更新数据。此外现有架构也无法实现快速的横向扩展能力。通过采用Hadoop架构,为公司大数据的有效应用,为云计算的落地提供支撑。去年实现了大数据分析的架构搭建,利用3台PC服务器进行Hadoop环境的部署和实施,部署简单易于操作,恢复实施都很快。现阶段将ERP系统每日产生的GB级 access.log 文件数据上传至HDFS,提取并抽入到Hbase,利用Hive对作业访问从高到底进行统计,归纳出系统中使用度最重Top50,以及使用度最轻的作业Top50,为后续公司的信息化再提升,提供依据。

众所周知Hadoop的两大核心是分布式文件系统HDFS和分步计算MapReduce, MapReduce 包括Map过程实现任务的分解,Reduce实现计算结果的汇总。HDFS通过Namenode实现文件的管理,通过DataNode实现文件的存储。HDFS 是一个高度容错性的分布式文件系统,它能够提供高吞吐量的数据访问,通过NameNode来管理存储文件系统的Meta-Data,负责管理文件系统的命名空间,集群的配置信息,通过把文件分块存储在不同的DataNode中,来实现数据的分布存储。通过MapReduce,先把任务分割分布到集群的多个节点上,并行计算,然后再把计算结果合并,得到最终的计算结果。多节点计算所用到的任务调度,负载均衡,容错等都由MapReduce自动完成。在十三五期间,我们丰富数据服务平台内容,为全面数据分析,智能制造的敏捷响应系统提供数据平台支持。下图就是数据平台覆盖范围与分类设计图

数据平台覆盖范围与分类设计图

戳这里,看该作者更多好文

责任编辑:赵宁宁 来源: 51CTO专栏
相关推荐

2016-12-28 12:22:47

南钢集团个性化定制智能制造

2017-05-31 14:29:14

智能制造信息化软件

2016-05-05 13:40:08

2017-06-08 14:02:10

苏宁信息技术

2017-06-30 13:00:40

仓储信息化ERP

2020-10-28 07:40:31

云计算

2016-07-22 23:07:24

智能工厂智能制造V课堂

2016-08-25 17:51:45

2017-11-29 06:00:17

智能制造能源管理智能化

2018-01-31 05:25:31

云计算互联网企业上云

2018-01-30 16:00:04

信息化数字化

2017-08-30 16:01:35

2017-04-10 20:00:39

绩效管理CIOIT

2018-06-27 10:55:38

智能制造数字化信息化

2016-03-17 14:29:31

2018-05-21 16:13:18

工业互联网信息化通信

2022-12-30 10:55:09

智慧建筑物联网

2017-12-04 14:18:15

互联网网络IT

2018-06-12 15:04:17

物联网NB-IoT窄带物联网

2016-03-17 15:24:12

大数据智造+V课堂
点赞
收藏

51CTO技术栈公众号