系统运维

对于，感觉大家还是比较迷惘与不解，确实，这是一个新兴岗位；近来闲而无事，在此结合自己以往的一些经历，与大家先共同探讨一下“什么是门户网站运维”？以下是自己的一些经验和感受请大家斧正，希望和大家一起探讨，共同进步一、什么是门户网站运维?

首先明确一下，全文所讲的“运维”是指：门户网站运维，与其它运维的区别还是蛮大的；然后我们再对大型网站与小型网站进行范围定义，此定义主要从运维复杂性角度考虑，如网站规范、知名度、服务器量级、PV量等考虑，其它因素不是重点；因此，我们先定义服务器规模大于1000台，PV每天至少上千万（至少国内排名前20），如sina、alibaba、sohu、baidu、网易等等；其它小型网站可能没有真正意义上的运维工程师，这与网站规范不够和成本因素有关，更多的是集合网络、系统、开发工作于一身的“复合性人才”，就如本版有些同僚将公司的合同采购都纳入了运维职责范围，还有如IDC网络规划也纳入运维职责，这是网络工程师的工作，我们就不要抢人家饭碗了，但是，非常重要一定需要明白：运维对其它关联工种必须非常了解熟悉：网络、系统、应用开发、内容；但这些非自己的本职工作，我在这里所讲的运维工程师就是指专职运维工程师

我们再来说说一个般产品的“出生”流程：

1、首先公司BOSS层给出指导思想，PM定位市场需求（或copy成熟应用）进行调研、分析、最终给出详细设计

2、开发工程师将设计code实现出来、测试工程师对应用进行测试（同一产品事业部）

3、网络\系统工程师根据产品设计的需求，如PV大小预估、服务器规模、应用架构等因素完成网络规划及设备上的调整（基本上对网络变动不大，除非大项目）、SA系统工程师负责产品服务器上架准备工作，服务器系统安装、网络、IP、通用工具集安装

4、好，到运维工程师出马了，首先明确一点不是说前三步就与运维工作无关了，恰恰相反，前三步与运维关系很大：应用的前期架构设计、软/硬件资源评估申请采购、应用设计性能隐患及评估、IDC、服务性能\安全调优、服务器系统级优化（与特定应用有关）等都需要运维全程参与，并主导整个应用上线项目；运维工程师需要对上线的应用系统架构是否合理、是否具备可扩展性、及安全隐患等因素负责，并负责最后将产品（程序）、网络、系统三者进行拼接并最优化的组合在一起，最终完成产品上线提供用户使用，并周而复始：需求->开发（升级）->测试->上线（性能、安全问题等之前预估外的问题随之慢慢就全出来了）在这里提一点：网站开发模式与传统软件开发完全不一样，网站一天开发上线1~5个升级版本是家常便饭，用户体验为王嘛，如果某个线上问题像M$需要1年解决，用户早跑光了；应用上线后，运维工作才刚开始，具体工作可能包括：升级版本上线工作、服务监控、应用状态统计、日常服务状态巡检、突发故障处理、服务日常变更调整、集群管理、服务性能评估优化、数据库管理优化（大于50台）、随着应用PV增减进行应用架构的伸缩、安全、运维开发工作：a 尽量将日常机械性手工工作通过工具实现（如服务监控、应用状态统计、服务上线等等），提高效率 b 、解决现实中服务存在的问题，如高可靠性、可扩展性问题等，c、大规模集群管理工具的开发，如1万台机器如何在1分钟内完成密码修改、或运行指定任务？2000台服务器如何快速安装操作系统？各分布式IDC、存储集群中数BT级的数据如何快速的存储、共享、分析？等一系列挑战都需运维工程师的努力。

在此说明一下其它配合工种情况，在整个项目中，前端应用对于网络/系统工程师来说是黑匣子，同时开发工程师职责只是负责完成应用的功能性开发，并对应用本身性能、安全性等应用本身负责，它不负责或关心网络/系统架构方面事宜，当然软/硬件采购人员等事业部其它同事也不会关心这些问题，各司其职，但项目的核心是运维工程师~！所有其它部门的桥梁

上面说了很多，我想大家应该对运维有一些概念了，在此打个比方吧，如果我们是一辆高速行驶在高速公路上的汽车，那运维工程师就是司机兼维修工，这个司机不简单，有时需要在高速行驶过程中换轮胎、并根据道路情况换档位、当汽车速度越来越快，汽车本身不能满足高速度时对汽车性能调优或零件升级、高速行进中解决汽车故障及性能问题、时刻关注前方安全问题，并先知先觉的采取规避手段。。。这就是运维的工作~！

最后说一下运维工程师的职责：“确保线上稳定”，看似简单，但实属不容易，运维工程师必须在诸多不利因素中进行权衡：新产品模式对现有架构及技术的冲击、产品高频度的升级带来的线上BUG隐患、运维自动化管理程度不高导致的人为失误、IT行业追求的高效率导致流程执行上的缺失、用户增涨带来的性能及架构上的压力、IT行业宽松的技术管理文化、创新风险、互联网安全性问题等因素，都会是网站稳定的大敌，运维工程师必须把控好这最后一关，需具体高度的责任感、原则性及协调能力，如果能做到各因素的最佳平衡，那就是一名优秀的运维工程师了

另外在此聊点题外话，我在本版看到有很多人要sina、网易、sohu、baidu等聊自己的运维方面的经验，其实这对于它们有点勉为其难：

a、各公司自己网络架构、规模、或多或少还算是公司的核心秘密，要保密，另外，对于大家所熟知的通用软件、架构，由于很多公司会根据自己实际业务需要，同时因为原版性能、安全性、已知bug、功

能等原因，进行过二次开发（如apache,php,mysql...），操作系统内核也会根据不同业务类型进行定制的，如某些应用属于运算型、某些是高IO型、或大储存大内存型。。。根据这些特点进行内核优化定制，如sina就在memcache上进行过二次开发，搞出了一个memcache DB，具体做得如何我们不谈，但开源了，是值得称赞的，国内公司对于开源基本上是索取，没有贡献；另外，服务器也不是大家所熟知的型号，根据业务特点，大部份都是找DELL/HP/sun/IBM进行过定制；另外，在分布式储存方面都有自己解决方案，要不就是使用现成开源hadoop等解决方案，或自己开发。但90%都是借鉴Google GFS 的思想:分布式存储、计算、大表。

b、各公司业务方向不一样，会导致运维模式或方法都不一样，如alibaba和baidu运维肯定区别很大，因为他们业务模式决定了其架构、服务器量级、IDC分布、网络结构、通用技术都会不一样，主打新闻门户的sina与主打网游的盛大运维模式差异就非常大,甚至职责都不大一样；但有一点，通用技术及大致架构上都大同小异，大家不要太神化，更多的公司只是玩垒积木的游戏罢了，没什么技术含量。

c、如我上面所讲，目前门户网站运维还处于幼年时期理念和经验都比较零散，没有成熟的知识体系，我相信大家也讲不出所以然来（我现在也中抓破脑袋挤出这点字，呵呵），可能具体什么是运维，大家都要先思索一番，或压根没想过，真正讨论也只是运维工作的冰山一角，局限于具体技术细节，或某某著名网站大的框架，真正运维体系化东西没有，这也许是目前网上运维相关资料比较少的原故吧。。

二、运维工作师需要什么样的技能及素质

作为一名运维工程师需要什么样的技能及素质呢，首先说说技能吧，如大家上面所看到，运维是一个集多IT工种技能与一身的岗位，对系统->网络->存储->协议->需求->开发->测试->安全等各环节都需要了解一些，但对于某些环节需熟悉甚至精通，如系统(基本操作系统的熟悉使用,*nix,windows..)、协议、开发(日常很重要的工作是自动运维化相关开发、大规模集群工具开发、管理）、通用应用（如lvs、ha、web server、db、中间件、存储等。。。）、网络（至少要对应用所处网络环境非常了解）；技能方面总结以下几点：

1、开发能力，这点非常重要，因为运维工具都需要自己开发，开发语言：c/c++（必备其中之一）、perl、python、php（其中之一）、shell（awk,sed,expect....等），需要有过实际开发经验，否则工作会非常痛苦

2、通用应用方面需要了解：操作系统（目前国内主要是linux、bsd）、webserver相关

(highttp,apahe,php,tomcat,java。。。)、数据库(mysql,oralce)、其它杂七八拉的东东。。。系统优化，高可靠性。。。这些只是加分项，不需必备，可以边工作边慢慢学，这些东西都不难。当然在运维中，有些是有分工偏重点不一样。如可能有专门的运维dba

3、系统、网络、安全等需要有所了解，至少知道其原理

个人素质方面：

1 沟通能力、团队协作：运维工作跨部门、跨工种工作很多，需善于沟通、并且团队协作能力要强；这应该是现代企业的基本素质要求了，不多说了。。。

2 工作中需胆大心细：胆大才能创新、不走寻常路，特别是对于运维这新的工种，更需创新才能促进发展；心细，运维工程师是网站admin,最高线上权限者，一不小心就会遗憾终生或打入十八层地狱。。。

3 主动性、执行力、精力旺盛、抗压能力强：由于IT行业的特性，变化快；往往计划赶不上变化，运维的工作就更突出了，比如国内各大公司服务器往往是全国各地，哪里便宜性价比高，就那往搬，进行大规模服务迁移（牵扯的服务器成百上千台），这是一个非常头痛的问题；往往时间非常紧迫，如限1周内完成，要命~~~，这种情况下，运维工程师的主动性及执行力就有很高的要求了：计划、方案、服务无缝迁移、机器搬迁上架、环境准备、安全评估、性能评估、基建、各关联部门扯皮。。。7X24小紧急事故响应等。

4 其它就是一些基本素质了：头脑要灵光、逻辑思维能力强、为人谦虚稳重、亲和力、乐于助人、有大局观

5 最后一点，做网站运维需要有探索创新精神，通过创新型思维解决现实中的问题，因为这是一个处于幼年的职业（国外也一样，但比国内起步早点），没有成熟体系或方法论可以借鉴，只能靠大家自己摸索努力

三、怎样才算是一个合格的运维工程师

1、保证服务达到要求的线标准，如99.9%；保证线上稳定，这是运维工程师的基本责职所在。

2、不断的提升应用的可靠性与健壮性、性能优化、安全提升；这方面非常考验主动性、和创新思维

3、网站各层面监控、统计的覆盖度，软件、硬件、运行状态，能监控的都需要监控统计，避免监控死角、并能实时了解应用的运转情况。

4、通过创新思维解决运维效率问题；目前各公司大部份运维主要工作还是依赖人工操作干预，需要尽可能的解放双手

5、运维知识的积累与沉淀、文档的完备性，运维是一个经验性非常强的岗位，好的经验与陷阱都需积

累下来，避免重复性犯错。

6、计划性和执行力；工作有计划，计划后想法设法达到目标，不找借口。

7、自动化运维；能对日常机械化工作进行提炼、设计并开发成工具、系统，能让系统自动完成的尽量依靠系统；让大家更多的时间用于思考、创新思维、做自己喜欢的事情。

以上只是技术上的一些层面，当然个人意识也是很重要的。

四、运维职业的迷惘、现状与发展前景

运维岗位不像其它岗位，如网络工程师、系统工程师、安全工程师、研发工程师、测试工程师等，有非常明确的职责定位及职业规划，比较有职业认同感与成就感；而运维工作可能给人的感觉是哪方面都了解一些，但又都比上专职工程师更精通、感觉平时被关注度比较低（除非线上出现故障），慢慢的大家就会迷惘，对职业发展产生困惑,为什么会有这种现象呢？除了职业本身特点外，主要还是因为对运维了解不深入、做得不深入导致；其实这个问题其它岗位也会出现，但我发现运维更典型，更容易出现这个问题；

针对这个问题我谈一下网站运维的现状及发展前景（也在思考中，可能不太深入全面，也请大家斧正补充）

运维现状：

1、处于刚起步的初级阶段，各大公司有此专职，但重视或重要程度不高，可替代性强；小公司更多是由其它岗位来兼顾做这一块工作，没有专职，也不可能做的深入

2、技术层次比较低；主要处于技术探索、积累阶段，没有形成体系化的理念、技术。

3、体力劳动偏大；这个问题主要与第二点有关系，很多事情还是依靠人力进行，没有完成好的提练，对于大规模集群没有成熟的自动化管理方法，在此说明一下，大规模集群与运维工作是息息相关的如果只是百十来台机器，那就没有运维太大的生存空间了

4、优秀运维人才的极度缺乏；目前各大公司基本上都靠自己培养，这个现状导致行业内运维人才的流动性非常低，非常多好的技术都局限在各大公司内部，如Google 50万台机器如果科学的管理？或者国内top 10 的一些经验，这些经验是非常有价值的东西并决定了一个公司的核心竞争力；这些问题进而导致业内先进运维技术的流通、贯通、与借签，并最终将限制了运维发展。

5、很多优秀的运维经验都掌握在大公司手中；这不在于公司的技术实力，而在于大公司的技术规模、海量PV、硬件规模足够大，如baidu可怕的流量、海量数据~~~~这些因素决定了他们遇到的问题都是其它中/小公司还没有遇到的，或即将遇到。但大公司可能已有很好的解决方案或系统

发展前景：

1、从行业角度来看，随着中国互联网的高速发展（目前中国网民已跃升为全球第一）、网站规模越来越来大、架构越来越复杂；对专职网站运维工程师、网站架构师的要求会越来越急迫,特别是对有经验的优秀运维人才需求量大，而且是越老越值钱；目前国内基本上都是选择毕业生培养（限于大公司），培养成本高，而且没有经验人才加入会导致公司技术更新缓慢、影响公司的技术发展；当然，毕业生也有好处：白纸一张，可塑性强，比较认同并容易融入企业文化

2、从个人角度，运维工程师技术含量及要求会越来越高，同时也是对公司应用、架构最了解最熟悉的人、越来越得到重视

3、网站运维将成为一个融合多学科（网络、系统、开发、安全、应用架构、存储等）的综合性技术岗位，给大家提供一个很好的个人能力与技术广度的发展空间

4、运维工作的相关经验将会变得非常重要，而且也将成为个人的核心竞争力，具备很好的各层面问题的解决能力及方案提供、全局思考能力等

5、特长发控和兴趣的培养；由于运维岗位所接触的知识面非常广阔，更容易培养或发挥出个人某些方面的特长或爱好，如内核、网络、开发、数据库等方面，可以做得非常深入精通、成为这方面的专家

6、如果真要以后不想做运维了，转到其它岗位也比较容易，不会有太大的局限性。当然了，你得真正用心去做

7、技术发展方向、网站/系统架构师

五、运维关键技术点解剖（比较实际，现实中的案例，今天先想出这几条，如大家有其它感觉兴趣的，可以提出，我来解答）

1、大规模集群管理问题

首先我们先要明确集群的概念，集群不是泛指各功能服务器的总合，而是指为了达到某一目的或功能的服务器、硬盘资源的整合（机器数大于两台），对于应用来说它就是一个整体，目前常规集群可分为：高可用性集群（HA），负载均衡集群（如lvs），分布式储、计算存储集群（DFS，如Google gfs ,yahoo hadoop），特定应用集群（某一特定功能服务器组合、如db、cache层等），目前互联网行业主要基于这四种类型；对于前两种类似，如果业务简单、应用上post操作比较少，可以简单的采用四层交换机

解决（如f5、foundly），达到服务高可用/负责均衡的作用，对于资源紧张的公司也有一些开源解决办法如lvs+ha,非常灵活；对于后两种，那就考验公司技术实力及应用特点了，第三种DFS主要应用于海量数据应用上，如邮件、搜索等应用，特别是搜索要求就更高了，除了简单海量存储，还包括数据挖掘、用户行为分析；如Google、yahoo就能保存分析近一年的用户记录数据，而baidu应该少于30天、soguo 就更少了。。。这些对于搜索准备性、及用户体验是至关重要的。

接下来，我们再谈谈如何科学的管理集群，有以下关键几点：

I、监控

主要包括故障监控和性能、流量、负载等状态监控，这些监控关系到集群的健康运行，及潜在问题的及时发现与干预；

a、服务故障、状态监控：主要是对服务器自身、上层应用、关联服务数据交互监控；例如针对前端web server，我们就可以有很多种类型的监控，包括应用端口状态监控，便于及时发现服务器或应用本身是否crash、通过icmp包探测服务器健康状态，更上层可能还包括应用各频道业务的监控，常用方法是采用面业特征码进行判断，或对重点页面进行签名，以网站被黑篡改（报警、并自动恢复被篡改数据）。。。这些只是一部份，还有N多监控方式，依应用特点而定，还有一些问题需解决，如集群过大，如何高性能的进行监控也是一个现实问题。。。。。

b、其它就是集群状态类的监控或统计，为我们合理管理调优集群提供数据参考、包括服务瓶颈、性能问题、异常流量、攻击等问题

II、故障管理

a、硬件故障问题；对于成百上千或上万机器的N多集群，服务器死机、硬件故障概率是非常大的，几乎每时每刻都有服务硬件问题，死机、硬盘损坏、电源、内存、交换机。。。针对这种情况，我们在设计网站架构时需要充分考虑到这些问题，并将其视为常态；更多的依靠应用的冗余机制来规避这种风险，但给系统工程师足够宽裕的处理时间。（如Google不是号称同时死800台机器，服务不会受到任何影响吗）；这就是考验运维工程师及网站架构师功能的地方了，好的设计能达到Google所描述自恢复能力，如gfs，糟糕的设计那就是一台服务器的死机可能会造成大面积服务的连锁故障反映，直接对用户拒绝响应。

b、应用故障问题；可能是某一bug被触发、或某一性能阀值被超越、攻击。。。情况不一而定，但重要的一点，是要有对这些问题的预防性措施，不能想当然，它不会出问题，如真出问题了，如何应对? 这需要运维工程师平时做足功夫，包括应急响应速度、故障处理的科学性、备用方案的有效等

III、自动化

自动化：简而言之，就是将我们日常手动进行的一些工作通过工具，系统自动来完成，解放我们的双手及枯燥的重复性劳动，例如：没有工具前，我们安装系统需要一台一台裸机安装，如2000台，可能需要10人/10天，搞烂N张光盘，人力成本更大。。。而现在通过自动化工具，只需几个简单命令就能搞定、还有如机器人类程序，自动完成以往每天人工干预的工作，使其自动完成、汇报结果，并具备一定的专家系统能力，能做一些简单的是/非判断、优化选择等。。。这些好处非常明显不再多说。。。应该说，自动化运维是运维工程师职业化的一个追求，利私利公，虽然这是一个异常艰巨的任务：不断变更的业务、不规范化的应用设计、开发模式、网络架构变更、IDC变更、规范变动等因素，都可能会对现有自动化系统产生影响，所以需要模块化、接口化、变因参数化等。。。因此，自动化相关工作，是运维工程师的核心重点工作之一，也是价值的体现

[本帖最后由小尾巴于 2008-10-12 07:41 编

2# 2008-10-12 07:28

看完文章，偶有些问题想问问Kevin，请Kevin 费时讲解下

1.第二段里说到一个运维人员要掌握两种以上的开发语言。首先shell是毫无疑问的，那是必须掌握的

对于C也是的确要掌握的，Linux内核用纯C编写，掌握C肯定很重要。但是实话说，偶在大学也学过C，国内经典“名书”谭浩强的C，等学完了，老师告诉我们，这书学了没用......谭浩强在用C

讲Basic。Kevin能否推荐一本国外比较好的讲C 的书，最好有中文翻译不是怕英文，主要是想能快速真正的了解到C。英文的读起来慢。现在时间也不多

至于面向对象语言，现在很多人都说python比较容易入门。Kevin您觉得是否有必要深入了解一门面向对象的语言？

2.同开发语言一样，除了linux，对bsd或者Solaris也深入了解？

（虽然偶找了点资料，发现*nix大家异曲同工，但是不知道除了linux，哪种在实际应用用会更多。网上的托也真多，今天说BSD没落了，明天说Solaris不行了。但查查看，就上海地区来说，还有不少在用Solaris的。）

3.职业规划生涯

这个东西么太实际了。就我们班里来说，基本都是没有从事过linux职业的。课程结束了，大家在就业上其实基本在一个起点。只不过运气就会显得重要点。

Kevin能不能讲讲自己的刚出来是怎么规划自己的职业生涯。或者说说刚出道时遇到的问题，经验。

我并不指望尚观课程一结束，那里就有好工作，这也不是我来学习Linux的初衷。否则我也不会辞掉工作来专门学习Linux了。我个人比较喜欢Linux，希望能在Linux上走的更远.偶不怕笑话，偶的目标就是4年内赶上Kevin老师的水平

偶学到现在，越发觉得网络很重要。空闲会补补网络上的东西。tube 的高级路由得再仔细点听了。[本帖最后由小尾巴于 2008-10-12 07:49 编辑]

3#大中小发表于 2008-10-14 14:48 只看该作者

首先上面的文章肯定不是我写的，只是风格上很像而已，国内的大牛很多，项目跨个省就上千万潜在用户了，老外得做跨大洲项目才会碰到上千万用户！

根据你的问题，我做如下解答：

1. 关于的编程的问题，作为一个系统管理员，你需要的是学好一门用的方便的脚本语言，在Linux 中bash shell是首选，配合sed 、awk 基本可以解决常见问题了！如果是运维工程师，只会bash shell 是不行的，因为你会碰到很多需要多机操作的问题，并且你还需要经常为SB程序员擦PP，所以你需要看的懂C、C++、JAVA、PHP等等，公司用什么你就要看的懂什么，这是生存之道，不需要你精，重要的是看懂！日常应用我推荐python，简单实用，如果你用过perl，你会发现python真的很可爱！

关于C的学习，建议以实用为主，大学里的那叫“学院C", 告诉你语法，写点圣诞树、金字塔、出个简单图，这些在工作中根本没用；工作中用的最多的文件操作、网络操作、数据块的分隔合并根本就学不到。要学C就要学“工程C”，最好的学习途径就是看源代码和manpage！不要浪费钱去买书了，从ls 、cp、 netstat 、 ping 的源码看起就可以了！

2. 相同点没什么好说的，Unix的命令行基本操作都一样，差别仅在参数不同。SysV系统启动和模块挂接的流程也基本相同，如果你linux很熟，看看AIX和HP-UX的启动脚本就基本了解其启动和模块挂接的流程了。

重要的是他们的不同，比如设备文件操作方式，自有管理程序; 从某种方面来说，UNIX的文档要比Linux的全很多，你甚至可以看AIX和HP-UX的文档进一步学习Linux。

关于BSD，我推荐重点学习FreeBSD，原因是其安全稳定并且应用普遍，大公司跨大洲的应用如果实用自由软件，一般都会首先FreeBSD, 其重要原因是：即使内核出错，也可以保证远程连接排除错误。

3. 职业生涯的问题不好说，每个人不同的。

我入行是98年还在上大学的时候，那时和朋友拉到小投资开网络服务公司，提供虚拟主机和架站业务。也是那个时候算是正式使用Linux，当时还怀着无限崇敬的心情考了windows NT4 的MCSE。后来互联网泡沫破了，审视自己从事的职业，发现那个时候什么都做，老板、设计、开发、运维、销

售基本都做了。总结下来是，从小胆小老板做不了，没有艺术细胞设计做不了，开发太苦做了短命，想做销售女朋友怕我学坏，只有做运维了！

做Linux也很偶然，当时2001年把MCSE从NT4升级为2000后发现MCSE满大街都是，听说中关村大妈每天都可以扫到N张，决定在毕业前应拿点其它的证书证明一下自己。就去文华参加RHCE考试，因为我本身是学计算机教育专业的，文华当时缺老师，大四课也少，就在文华教RHCE课程了，后来从文华出来后进了一个做IM的公司，老板比较牛--王定标，一年拿IDG两亿的投资，也就是在这个老板的N多项目里，我从普通的运维管理员一步步走到公司南区运维架构负责人的位子上。

现在用Linux 只是习惯，桌面已经用不惯Windows了，但是这不代表我反windows, MS windows 有其优势，比如系统集成度高、整体解决方案完整、工程项目上线快等优点。作为一个架构师，必须着眼于全局，必须保持系统和技术选型的中立。这也是我为之努力的方向。

最后，我想说的是，技术是无止境的，我这10年基本保持了每天3小时雷打不动的看书时间。为了随时随地有书看，我先后买过palm TE 、多普达586w 、nokia n800 、PSP、iRex iliad 。为了使自己的学以致用，多年来保持了不动笔墨不读书的习惯，尽量的将自己的知识文档化，并将其贡献在网络中，算是我对开源运动的回报。

另外，我只是了解Linux ，里熟悉和精通还有很长的路要走！