历年客服系统故障总结

1. 2007年1月，F客服系统，升级时接口机配置文件加载错误（把A地市接口机的配置文件拷贝到B、C地市的机器上），导致B、C地市不能查询 BOSS资料。
   --总结：升级准备不足，升级结束没有全面测试、没有认真检查，人为导致故障。
  
2. 2007年2月，上需求时提前加载了数据库脚本（准备晚上加程序文件），加载后系统马上出现故障。
   --总结：违反公司的升级要求，随意升级，人为导致故障。

3. 2007年5月，下午处理报表故障时，把一个公共函数编译了，导致300多个存储过程失效，造成多个子系统无法使用。
   --总结：白天违规操作线网数据库，致使系统20多分钟无法使用。

4. 2007年4月，下午业务数据库宕机，导致整个话务中断（现象是工作流先不能使用，然后其它系统也不能使用，座席全部进入故障模式）。
   --总结：数据库的共享内存用光了，重启后释放内存。

5. 2007年9月，知识库升级期间的故障,原因是配置文件设为在白天每2小时建一次全量索引，话务量高时导致小型机IDlE值过低，系统宕机。 
   --总结：工程交接前没有认真检查，配置参数还是用以前的，导致话务高峰时系统连续出现故障。

6. 2007年9月，晚上处理短信满意度的问题，test线网存储过程，导致某重要表被锁，座席出现白屏无法操作。
   --总结：违规操作，随意在线网test，导致人为故障。

7. 2007年11月，客服系统发生两次CCS主备倒换，一次是上午业务部门加载数据导致，一次是晚上的原因不详，对系统没有任何影响。
   --总结：在系统话务量大时，不要进行参数改动，也是人为故障。

8. 2007年12月，凌晨在排队机上加了XXXXXXX的业务字冠，与A地市的字冠发生冲突，导致电话拨打断线。
   --总结：一是对排队机不熟，二是测试不全面。
  
9. 2008年4月，版本升级后短信满意度不能下发，故障持续到第二天12点才解决。
   --总结：一是版本bug，二是处理问题思路不清晰，实质是需求没有吃透。

10. 2008年6月，下午建应急库时把线网导出的数据又导入到线网中（2个cmd窗口一样导致），导致电话拨打断线（原因是地市数据源表加了重复数据，此表无主键，存储过程中没有加rownum=1的限制），后把线网数据全部truncate后，再加入一次数据后解决。
   --总结：故障持续30多分钟，违规操作，故障出现后报障询问电话铺天盖地而来，压力很大，影响了处理的思路。
  
11. 2008年7月，版本升级时，没有按照升级手册操作，多升级了一个有bug的dll文件，第二天导致大量用户投诉。
   --总结：违规操作，升级时随意发挥，结束后还没有通报。  

12. 2008年8月，白天误删了分发表数据，又立即进行了恢复（时间短5秒内，没有出现故障），原因是在一个窗口中进行了备份和删除。
    --总结：本质还是违规操作。

13. 2008年8月，ITC执行了错误的sql语句，导致座席信息表的状态全部更新为1（失效），导致座席全部不能登陆。
    --总结：违规操作，个别人的技能不够所致。
   
14.  2008年10月，开发同事违规登陆线网数据库test存储过程，导致线网大量对象失效 。
    --总结：安全意识不强导致，人为故障频繁发生。 

15.  2008年10月，需求上线时，本应删除F数据库的数据，结果误删了D数据库的数据。
    --总结：同时连接了2个数据库，进行操作，好在发现及时，没有造成什么影响。

16. 2009年5月，G中心晚上座席程序陆续异常退出，无法再次登陆，持续4个小时，后查明是座席的一个参数导致，修改后全省更新（特别严重故障，惊动了部长大人）。
   --总结：系统bug导致（属于高级别的bug），5年多才爆发。
  
17.  2009年7月，D中心同事查用户清单，引起用户投诉。
    --总结：违反信息安全，后果是很严重的，搞不好会承担民事和刑事责任的，切记。 
   
18.  2009年7月，M中心系统升级后导致无法验证密码，引起用户投诉，原因是升级版本中的CHK扩展名文件被我的电脑自动删除了，后重新更新一次文件解决。  
     -- 总结：使用个人电脑保护软件时，配置删除功能时要谨慎，防止误删有用的文件。

19. 2009年9月，D中心ITC私自修改线网表结构及存储过程，不编译也不及时通知，使得大量数据库对象失效，导致系统出现重大故障。
    --总结：典型的人为故障，而且相关人员技能不过关。

20. 2010年5月，D中心的电话拨打断线，后查明是有人把一台死机的服务器重新启动，导致上面