查看事故记录的源代码

事故记录

2014/08/12 21:00
江西多乐彩、黑龙江11选5 HTTP500都不能出票

2014/08/14 
上海-黑龙江老机房内网通讯中断，路由表正常，VPN连接建立，但是内网通讯不通。
先后尝试黑龙江使用联通和电信线路连接上海，均不起作用。
后重启上海防火墙后，连接恢复正常。
怀疑为黑龙江数次切换网络，导致上海防火墙状态异常所致。

1. 2014-06-03
鑫霸高频出票中断
-票机在后台不能操作
-出票停止
-其他彩种正常
-数据库:TICKETDETAIL_TEMP表记录被死锁


2. 网易没有拿到若干订单的出票状态
-收单人工重启了向鑫霸送票的JAVA程序
-在数据库表中有锁
-没有启动相关JOB

后续：应该让必要的功能性JOB跟随程序同步启动,其他JOB设计成首次启动时进行必要检测，
 以避免不相关或者周期性调度的JOB有副作用 --比如撤单退款、自动算奖==
 
3.世界杯长周期串关出票
-出票客户端和兑奖客户端对日期-场次的解析有问题，给解析到7天以内的相关场次了。


4.2014-06-06 电信联通的连通性
 下午16:30开始，京东到226的网络接口已经连接不上，从黑龙江机房光纤线路也访问不到。
  但是到225是通的。防火墙重启释放资源和运行配制检测没有问题。所以怀疑为互联互通问题。
  --要后续跟进：
	1. 双线路启用
	2. 端口绑定设备
	3.BGP

5.128cai网站数据库问题
 2014-06-08 14:00 网站打不开。数据库VIP1漂移到RAC2上，结果rac1的rman脚本无法清理归档日志，导致空间被占满。数据库服务停止。经过检查，rac1重启OS后，raw和oraasm不能自动挂载分区制crs服务不能启动。
 
6.收单接口排列三和值投注可以S9|1，但是彩票机是直接打不出来的。在一代出票客户端可以对应为组选票001直接打，但是鑫霸就不成了。这个要研究下。要么接口不收，要么往鑫霸送票时加以转换。

7.6月15日早上7:30-8:00鑫霸系统竞彩足球不出票
  解决:鑫霸发布更新的app程序
  原因：鑫霸程序里有段逻辑，竞彩足球早上7:30-9:00不打票 ->估计是因为竞彩篮球周三周四早上出票所加的逻辑。
 
8.鑫霸部分票机不出票且无法控制
  app的数据库连接耗尽
  解决：将app的配置参数中，连接数从110增加到150。
  归类：程序问题。
  
 9.订单多的情况下通知回传慢
	一分钟回传订单数在600个左右
  
 10. 2014-06-25 9:24-10:00 恒朋系统数据库死锁
14-06-25 09:24:46 [WARN ] com.mchange.v2.async.ThreadPoolAsynchronousRunner - com.mchange.v2.async.ThreadPoolAsynchronousRunner$DeadlockDetector@446399c5 -- APPARENT DEADLOCK!!! Creating emergency threads for unassigned pending tasks!
14-06-25 09:46:03 [WARN ] com.mchange.v2.async.ThreadPoolAsynchronousRunner - com.mchange.v2.async.ThreadPoolAsynchronousRunner$DeadlockDetector@69904b13 -- APPARENT DEADLOCK!!! Creating emergency threads for unassigned pending tasks!
14-06-25 14:01:52 [ERROR] com.hengpeng.agentportal.util.SystemAlarm - 系统错误消息警告:对阵{20140624_2_010}开奖异常，请立即检查{场次:20140624_2_010,类型{1},已经开过奖,存在开奖数据了....}
14-06-25 14:02:52 [ERROR] com.hengpeng.agentportal.service.match.checkwin.MatchCheckWinServiceImpl - 场次:20140624_2_010,类型{1},已经开过奖,存在开奖数据了....
14-06-25 14:02:52 [ERROR] com.hengpeng.agentportal.util.SystemAlarm - 系统错误消息警告:对阵{20140624_2_010}开奖异常，请立即检查{场次:20140624_2_010,类型{1},已经开过奖,存在开奖数据了....}
14-06-25 14:03:16 [ERROR] com.hengpeng.common.util.HttpRequestProxy - 连接URL{}时遇到网络故障, 异常消息{no protocol: }
14-06-25 14:03:16 [ERROR] com.hengpeng.common.util.HttpRequestProxy - 连接URL{}时遇到网络故障, 异常消息{no protocol: }
14-06-25 14:03:16 [ERROR] com.hengpeng.common.util.HttpRequestProxy - 连接URL{}时遇到网络故障, 异常消息{no protocol: }
 14-06-25 14:03:56 [ERROR] com.hengpeng.agentportal.util.StringUtils - 连接URL{http://keno.admin.taobao.org/keno/gateway/uz_gateway.do?service=14}时遇到网络故障, 异常消息{connect timed out}
14-06-25 14:03:56 [ERROR] com.hengpeng.agentportal.util.StringUtils - 连接URL{http://keno.admin.taobao.org/keno/gateway/uz_gateway.do?service=14}时遇到网络故障, 异常消息{connect timed out}
          
恒朋数据库死锁。最后重启数据库。重启前端应用。

tail -260000 /usr/local/apache-tomcat-6.0.32/logs/catalina.out|grep -i 'warn'|grep 'APPARENT DEADLOCK'|tail -1

/usr/local/mon/HPlogWatch.sh 
15610256030@wo.cn

10. 2014-06-26日 鑫霸系统停止出票
原因：TB_DB表空间占满， bigtable datafile设置了最大大小，且空间占满没有发现。
后续：对表空间使用率监控、检查配置项
后续：监控Oracle alert日志中的相关内容
	

11. 2014-07-01 23:00收单的几个web接口故障，重启IIS貌似也无效，最后重启的OS。
原因：可能是后端数据库问题，致IIS接口不响应。
解决：重启IIS
后续：已经明确是AppLog库的事务日志文件过大，然后空间增量分配策略为默认的10%所导致。
现已将数据库恢复级别调整为“简单”，日志增量调整为一次64M，应当不会再出现类似问题。

12.恒朋051
  
13. 2014-07-17 晚上19:00，20:00左右国家竞彩中心系统故障两次，彩机可登录不能出票。
  
14. 2014-07-18 哈尔滨黄威
打电话给中心 说今天都兑不了 国家中心在调试。 
周六006比赛推迟 2014-07-19 18:16
周六006 日本职业联赛“柏太阳神 VS 仙台维加泰”开踢时间由原定北京时间2014年07月19日18:00推迟至当日19:00，请广大彩民注意！
竞彩恢复兑奖 2014-07-18 14:34
目前竞彩系统于13：39已经恢复兑奖，请广大彩民关注！
竞彩恢复售票 2014-07-17 21:44
目前竞彩已经恢复售票，但是暂时不能兑奖，恢复兑奖时间另行通知。所带来不便敬请彩民谅解。
周四060比赛提前 2014-07-15 17:08
  
2014-07-24 9:40-10:30 淞虹路办公室OA电信专线故障， 局端网络故障。




15.
黑龙江中心票机下载文件问题

1.网络堵死
2.票机正常出票界面受影响
2014-07-25
15:22:35
出票-陈开金
2014-07-25 15:22:35
黑龙江，一会彩票机可能会下载大文件，直接确认就行；但是如果影响高频，立即在群里通



==福彩3D在各省奖金不一致问题==
7月24日OA电信网络局端故障
如果是收单网络故障咋办。。

=2014-08-03=
caipiaoleyuan.com域名到期欠费
128cai.com 到2015-02
后续：要把登记的手机号和邮箱变更一下，保证及时收到通知。