Reason for outage : The controller

Reason for outage : The controller card and cross-connect card were hang by unknown reason at P.O.Bangsue#2 exchange (middle exchange). And the E1 trunk card was failed by unknown reason at P.O.Bangsue#1 exchange (middle exchange.)
Recovery Action : Replaced new controller card , new cross-connect card and new E1 trunk card.
Timeline :
13/01/2016
04:15TH : Jastel team informed CID546961 was unstable symptom.
04:57TH : NMC UIH found alarm on trunk P.O.Bangsue#2 - Cement_Bangsue exchange and it was clear by itself on 04:57TH.
05:48TH : We asked Jastel team for permission to reroute customer to other path. We had waiting permission to do it.
10:06TH : Jastel team allowed us to reroute to other path on 11:00TH
10:12TH : After NMC team had investigated,they found this circuit could not reroute at that moment because the new path hadn't enough time slot of TDM equipment (2 Mbps used 32 time slots per node.The nodes on other path already have other customer inside all node) to move it.
10:50TH : Our FE went to P.O.Bangsue#2 exchange and found the controller card did not work as properly then waited for other team to arrived with new controller card.
11:30TH : Jastel team informed us the link was stable and kept monitoring it.
11:43TH : Jastel team informed us the link was down again and let us do any action to resolve it.
12:20TH : The support team of our FE arrived to P.O.Bangsue#2 exchange with new controller card.
12:25TH : Our FE replaced new controller card and we asked Jastel team for the current status which customer detected.
12:30TH : Jastel team informed us the link was stable and kept monitoring it.
14:02TH : NMC UIH found cross-connect card was hang with unknown reason at P.O.Bangsue#2 then the support team of our FE went to take the new cross-connect card.
14:10TH : Jastel team informed CID546961 was unstable symptom.
14:45TH : The support team arrived to node with new cross-connect card.
14:50TH : Our FE replaced new cross-connect card at P.O.Bangsue#2 exchange.
15:55TH : P.O.Bangsue#2 exchange had problem again then NMC UIH decided to create new route for this circuit.
16:40TH : NMC UIH created new route for this circuit as temporary fix and kept monitoring it (But this route was long distance then it will make the unstable symptom)
16:45TH : NMC UIH prepared the available trunk on short distance route to move this circuit from long distance route to short distance route as permanent fix.
17:10TH : Jastel team informed us the link was unstable symptom.
17:55TH : Jastel team informed us the link was stable and kept monitoring it (Alarm clear by itself).
18:36TH : We found alarm on trunk of long distance route then we tried to clear the available time slots to reroute this circuit to originate path
19:45TH : After NMC UIH had prepared to find the available time slots,NMC UIH did reroute to the originate path.
20:00TH : NMC UIH found the alarm on trunk of originate path then tried to find the optimize path for reroute path.
20:25TH : NMC UIH reroute this circuit to optimize path (the shortest one)
14/01/2016
09:57TH : Jastel team informed us the link was unstable symptom.
10:08TH : NMC UIH rerouted to other path.
10:20TH : NMC UIH found E1 trunk card was failed by unknown reason and dispatched FE to go onsite.
11:19TH : Our FE arrived with new E1 trunk card but still waiting the support team bring module equipment which used with new E1 trunk card.
12:18TH : Our FE replaced new E1 trunk card and NMC UIH asked Jastel for permission to reroute this circuit to originate path.
12:20TH : Jastel team informed us the link was stable and kept monitoring it.
16:32TH : NMC UIH found the error alarm on trunk (it will make this circuit be critical down) of this path then NMC UIH prepared to reroute this circuit to originate path.
16:35TH : NMC UIH rerouted to originate path and keep monitoring this circuit closely.

ผลลัพธ์ (ไทย) 1:

ในกระแส: ตัวควบคุมบัตร และขนเชื่อมต่อการ์ดก็แฮงค์ โดยไม่ทราบสาเหตุที่ P.O.Bangsue#2 แลกเปลี่ยน (อัตราแลกเปลี่ยนกลาง) และบัตรลำ E1 ถูกล้มเหลว โดยไม่ทราบสาเหตุที่อัตราแลกเปลี่ยน P.O.Bangsue#1 (กลางแลกเปลี่ยน) การดำเนินการกู้คืน: แทนตัวควบคุมการ์ดใหม่ ใหม่ข้ามเชื่อมต่อบัตรและบัตรลำ E1 ใหม่ เส้นเวลา: 13/01/2016 04:15TH: ทีม Jastel ทราบ CID546961 เป็นอาการที่ไม่เสถียร 04:57TH: NMC UIH พบสัญญาณเตือนบนลำ P.O.Bangsue#2 - Cement_Bangsue แลกเปลี่ยน และก็ชัดเจน ด้วยตัวเองใน 04:57TH 05:48TH: เราถามทีม Jastel อนุญาตทำเส้นทางใหม่ลูกค้าไปเส้นทางอื่น เรามีสิทธิ์รอได้ 10:06TH: ทีม Jastel ให้เราทำเส้นทางใหม่ไปเส้นทางอื่น ๆ 11: 00TH 10:12TH: ทีม NMC หลังจากได้สอบสวน พวกเขาพบวงจรนี้อาจไม่ทำเส้นทางใหม่ในขณะนั้นเนื่องจากเส้นทางใหม่ไม่ได้ช่องเวลาเพียงพอของอุปกรณ์แบบ TDM (2 Mbps ใช้ 32 ช่องเวลาต่อโหน โหนดบนเส้นทางอื่น ๆ มีลูกค้ารายอื่นอยู่ภายในโหนทั้งหมด) เพื่อเคลื่อนย้าย 10:50TH: FE ของเราไปแลกเปลี่ยน P.O.Bangsue#2 และพบบัตรควบคุมไม่ทำงานได้อย่างถูกต้อง แล้วรอทีมอื่นถึงกับการ์ดควบคุมใหม่ 11:30TH: ทีม Jastel ทราบเราเชื่อมโยงมีเสถียรภาพ และเก็บไว้ตรวจสอบ 11:43TH: ทีม Jastel ทราบเราเชื่อมโยงถูกลงอีกครั้ง และให้เราทำการดำเนินการใด ๆ เพื่อแก้ไขปัญหานี้ 12:20TH: ทีมสนับสนุนของ FE ของเรามาแลกเปลี่ยน P.O.Bangsue#2 กับการ์ดควบคุมใหม่ 12:25TH: FE ของเราแทนบัตรควบคุมใหม่ และเราขอทีม Jastel สถานะปัจจุบันลูกค้าที่ตรวจพบ 12:30TH: ทีม Jastel ทราบเราเชื่อมโยงมีเสถียรภาพ และเก็บไว้ตรวจสอบ 14:02TH: NMC UIH พบการเชื่อมต่อระหว่างการ์ดถูกแฮงค์ โดยไม่ทราบสาเหตุที่ P.O.Bangsue#2 แล้วทีมสนับสนุนของ FE ของเราไปใช้ใหม่ข้ามเชื่อมต่อบัตร 14:10TH: ทีม Jastel ทราบ CID546961 เป็นอาการที่ไม่เสถียร 14:45TH: ทีมสนับสนุนถึงโหนกับใหม่ข้ามเชื่อมต่อบัตร 14:50TH: FE ของเราใหม่แทนขนเชื่อมบัตรที่ P.O.Bangsue#2 แลกเปลี่ยน 15:55TH: แลกเปลี่ยน P.O.Bangsue#2 มีปัญหาอีก แล้ว NMC UIH ตัดสินใจที่จะสร้างกระบวนการใหม่สำหรับวงจรนี้ 16:40TH: NMC UIH เก็บไว้ตรวจสอบ และสร้างกระบวนการใหม่สำหรับวงจรนี้เป็นการแก้ไขชั่วคราว (แต่เส้นทางนี้ได้ไกล แล้วมันจะทำให้อาการไม่เสถียร) 16:45TH: NMC UIH เตรียมลำต้นใช้ในเส้นทางระยะสั้นเพื่อไปวงจรนี้จากเส้นทางไกลเส้นทางระยะสั้นเป็นการแก้ไขปัญหาอย่างถาวร 17:10TH: ทีม Jastel ทราบเราเชื่อมโยงเป็นอาการที่ไม่เสถียร 17:55TH: ทีม Jastel ทราบเราเชื่อมโยงมีเสถียรภาพ และเก็บไว้ตรวจสอบได้ (สัญญาณชัดเจน ด้วยตัวเอง) 18:36TH: เราพบสัญญาณเตือนบนลำของเส้นทางที่ไกล แล้วเราพยายามล้างช่องเวลาว่างเพื่อทำเส้นทางใหม่นี้วงจรการสร้างเส้นทาง 19:45TH: หลังจาก NMC UIH ได้เตรียมหาช่องเวลาว่าง NMC UIH ได้ทำเส้นทางใหม่ไปยังเส้นทาง originate 20:00TH: NMC UIH พบปลุกบนลำตัวของมาแล้ว พยายามหาทางเพิ่มเส้นเดินทางเส้นทาง 20:25TH: NMC UIH ทำเส้นทางใหม่นี้วงจรการปรับเส้นทาง (วันสั้นที่สุด) 14/01/2016 09:57TH: ทีม Jastel ทราบเราเชื่อมโยงเป็นอาการที่ไม่เสถียร 10:08TH: NMC UIH เปลี่ยนเส้นทางไปเส้นทางอื่น 10:20TH: NMC UIH พบบัตรลำ E1 ถูกล้มเหลว โดยไม่ทราบสาเหตุ และส่ง FE ไปโรงแรม 11:19TH: FE ของเราถึงกับใหม่ E1 ลำตัวการ์ด แต่ยังคง"กำลังรอ"ทีมสนับสนุนนำอุปกรณ์โมดูลซึ่งใช้กับบัตรลำ E1 ใหม่ 12:18TH: FE ของเราแทนใหม่ E1 ลำตัวบัตร และ NMC UIH ถาม Jastel อนุญาตทำเส้นทางใหม่นี้วงจรการสร้างเส้นทาง 12:20TH: ทีม Jastel ทราบเราเชื่อมโยงมีเสถียรภาพ และเก็บไว้ตรวจสอบ 16:32TH: NMC UIH เตือนข้อผิดพลาดที่พบในลำตัว (มันจะทำให้วงจรนี้สำคัญลง) นี้ NMC UIH แล้วเส้นทางเตรียมที่จะทำเส้นทางใหม่นี้วงจรการสร้างเส้นทาง 16:35TH: NMC UIH เปลี่ยนเส้นทางมาให้ตรวจสอบวงจรนี้อย่างใกล้ชิดและเส้นทาง

ผลลัพธ์ (ไทย) 2:

เหตุผลในการดับ: การ์ดคอนโทรลเลอร์และการ์ดเชื่อมต่อข้ามถูกแขวนโดยไม่ทราบสาเหตุที่ POBangsue # 2 อัตราแลกเปลี่ยน (แลกเปลี่ยนกลาง) และบัตรลำต้น E1 ถูกล้มเหลวโดยไม่ทราบสาเหตุที่ POBangsue # 1 อัตราแลกเปลี่ยน (แลกเปลี่ยนกลาง.)
การดำเนินการกู้คืน: แทนที่การ์ดคอนโทรลเลอร์ใหม่การ์ดเชื่อมต่อข้ามใหม่และบัตรลำต้น E1 ใหม่.
ระยะเวลา:
13/01/2016
04: 15: ทีมจัสเทลแจ้ง CID546961 เป็นอาการที่ไม่มั่นคง.
04: 57TH: NMC ยูไอเอชพบสัญญาณเตือนบนลำต้น POBangsue ที่ 2 - แลกเปลี่ยน Cement_Bangsue และมันก็เป็นที่ชัดเจนด้วยตัวเองเมื่อวันที่ 04: 57TH.
05: 48TH: เราถามทีมจัสเทลได้รับอนุญาตให้เปลี่ยนเส้นทางลูกค้าไปที่อื่น ๆ เส้นทาง. เราได้รับอนุญาตรอที่จะทำมัน.
10: 06TH ทีมจัสเทลให้เราสามารถเปลี่ยนเส้นทางไปยังเส้นทางอื่น ๆ เมื่อวันที่ 11: 00TH
10: 12TH: หลังจากที่ทีม NMC ได้ตรวจสอบพวกเขาพบว่าวงจรนี้ไม่สามารถเปลี่ยนเส้นทางในขณะนั้นเพราะเส้นทางใหม่ hadn 'ทีช่วงเวลาเพียงพอของอุปกรณ์ TDM (2 Mbps ใช้ 32 ช่วงเวลาต่อโหนด node.The บนเส้นทางอื่น ๆ ที่มีอยู่แล้วลูกค้าอื่น ๆ ภายในโหนดทั้งหมด) ที่จะย้าย.
10: 50TH: FE ของเราไป POBangsue # 2 แลกเปลี่ยนและพบว่า การ์ดคอนโทรลเลอร์ไม่ได้ทำงานเป็นต้องรอแล้วสำหรับทีมอื่น ๆ ที่จะมาพร้อมกับการ์ดคอนโทรลเลอร์ใหม่.
11: 30TH ทีมจัสเทลแจ้งลิงค์มีเสถียรภาพและเก็บไว้ตรวจสอบมัน.
11: 43th: ทีมจัสเทลเราทราบลิงค์ลงอีกครั้งและ ให้เราทำดำเนินการใด ๆ ที่จะแก้ปัญหาได้.
12: 20TH: ทีมสนับสนุนของ FE ของเรามาถึง POBangsue # 2 แลกเปลี่ยนด้วยบัตรควบคุมใหม่.
12: 25TH: FE ของเราแทนที่การ์ดคอนโทรลเลอร์ใหม่และเราถามทีมจัสเทลสำหรับสถานะปัจจุบันที่ . ลูกค้าตรวจพบ
12: 30TH:. ทีมจัสเทลแจ้งลิงค์มีเสถียรภาพและเก็บไว้ตรวจสอบมัน
14: 02TH: NMC ยูไอเอชพบการ์ดเชื่อมต่อข้ามเป็นแขวนกับไม่ทราบด้วยเหตุผลที่ POBangsue # 2 แล้วทีมสนับสนุนของ FE ของเราไปใช้ การ์ดเชื่อมต่อข้ามใหม่.
14: 10TH ทีมจัสเทลแจ้ง CID546961 เป็นอาการที่ไม่มั่นคง.
14: 45TH: ทีมสนับสนุนมาถึงโหนดด้วยบัตรข้ามเชื่อมต่อใหม่.
14: 50TH: FE ของเราแทนที่ใหม่ข้ามเชื่อมต่อการ์ดที่ POBangsue # 2 แลกเปลี่ยน.
15: 55TH: POBangsue # 2 แลกเปลี่ยนปัญหาได้อีกครั้งแล้ว NMC ยูไอเอชตัดสินใจที่จะสร้างเส้นทางใหม่สำหรับวงจรนี้.
16: 40TH: NMC UIH สร้างเส้นทางใหม่สำหรับวงจรนี้เป็นแก้ไขชั่วคราวและเก็บไว้ตรวจสอบมัน (แต่เส้นทางนี้ เป็นระยะทางยาวแล้วมันจะทำให้อาการไม่แน่นอน)
16: 45TH. NMC ยูไอเอชเตรียมลำต้นที่มีอยู่บนเส้นทางที่ระยะทางสั้น ๆ ที่จะย้ายวงจรนี้จากเส้นทางทางไกลไปยังเส้นทางที่ระยะทางสั้น ๆ ทั้งแก้ไขถาวร
17: 10TH ทีมจัสเทลแจ้งเรา การเชื่อมโยงเป็นอาการที่ไม่มั่นคง.
17: 55TH:. ทีมจัสเทลแจ้งลิงค์มีเสถียรภาพและเก็บไว้ตรวจสอบมัน (ปลุกชัดเจนด้วยตัวเอง)
18: 36TH: เราพบปลุกในลำต้นของเส้นทางระยะทางยาวแล้วเราพยายามที่จะล้างช่วงเวลาที่มีอยู่ ที่จะเปลี่ยนเส้นทางวงจรนี้จะเกิดเส้นทาง
19: 45TH: หลังจาก NMC ยูไอเอชได้เตรียมที่จะหาช่วงเวลาที่มีอยู่ NMC UIH ไม่เปลี่ยนเส้นทางไปยังเส้นทางที่มา.
20: 00TH: NMC ยูไอเอชพบปลุกในลำต้นของเส้นทางมาแล้วพยายามที่จะหา เส้นทางที่เพิ่มประสิทธิภาพในการเปลี่ยนเส้นทางเส้นทาง.
20: 25TH: NMC UIH เส้นทางวงจรนี้จะเพิ่มประสิทธิภาพของเส้นทาง (คนที่สั้นที่สุด)
14/01/2016
09: 57TH: จัสเทลทีมเราทราบการเชื่อมโยงเป็นอาการที่ไม่มั่นคง.
10: 08: NMC UIH เส้นทาง ไปยังเส้นทางอื่น ๆ .
10: 20TH: NMC ยูไอเอชพบบัตรลำต้น E1 ถูกล้มเหลวโดยไม่ทราบสาเหตุและส่ง FE จะไปในสถานที่.
11: 19: FE ของเรามาพร้อมกับบัตรลำต้น E1 ใหม่ แต่ยังคงรอทีมสนับสนุนนำอุปกรณ์โมดูลที่ใช้กับ บัตรลำใหม่ E1.
12: 18TH. FE ของเราแทนที่บัตรลำใหม่ E1 และ NMC UIH ถามจัสเทลได้รับอนุญาตให้เปลี่ยนเส้นทางวงจรนี้จะเกิดเส้นทาง
12: 20TH:. ทีมจัสเทลแจ้งลิงค์มีเสถียรภาพและเก็บไว้ตรวจสอบมัน
16: 32th: NMC ยูไอเอชพบสัญญาณเตือนข้อผิดพลาดในลำต้น (มันจะทำให้วงจรนี้มีความสำคัญลง) ของเส้นทางนี้แล้ว NMC ยูไอเอชเตรียมที่จะเปลี่ยนเส้นทางวงจรนี้จะเกิดเส้นทาง.
16: 35TH: NMC UIH เส้นทางจะเกิดเส้นทางและให้การตรวจสอบวงจรนี้ อย่างใกล้ชิด

ผลลัพธ์ (ไทย) 3:

เหตุผลสำหรับดับ : ควบคุมบัตรและการเชื่อมต่อข้ามบัตรแขวนโดยไม่ทราบสาเหตุที่ p.o.bangsue # 2 ตรา ( ตรากลาง ) และหีบบัตร ซึ่งล้มเหลวโดยไม่ทราบสาเหตุที่ p.o.bangsue # 1 ตรา ( ตรา กลาง )
: แทนที่การ์ดควบคุมการกู้คืนการกระทำใหม่ ใหม่ ใหม่และการเชื่อมต่อข้ามการ์ด E1 หีบบัตร

เวลา : 13 / 01 / 2552
04:15th :ทีม cid546961 สมแจ้งอาการไม่เสถียร .
04:57th และ uih พบสัญญาณเตือนบนลำตัว p.o.bangsue # 2 - cement_bangsue แลกเปลี่ยนและมันชัดเจนด้วยตัวมันเองใน 04:57th .
05:48th : เราขอให้สมทีมขออนุญาตส่งลูกค้าไปยังเส้นทางอื่น เราต้องรอขออนุญาตทำ .
10:06th : ทีมสมให้เราปรับเส้นทางอื่น ๆ ใน 11:00th
10:12th :หลังจากทีมงานได้ตรวจสอบและพวกเขาพบว่าวงจรนี้ไม่สามารถเปลี่ยนเส้นทางทันที เพราะเส้นทางใหม่ไม่เพียงพอเวลาเสียบอุปกรณ์ TDM ( 2 Mbps ใช้ช่อง 32 เวลาต่อโหนด โหนดในเส้นทางอื่น ๆได้ ลูกค้าอื่น ๆทั้งหมดภายในโหนด ) เพื่อย้าย .
10:50th ใหม่ของเราไปปณ.เขตบางซื่อ# 2 ตรา และพบบัตรควบคุมไม่ได้ทำงานอย่างถูกต้องแล้ว รอทีมอื่นที่จะมาถึง ด้วยบัตรควบคุมใหม่
11:30th : ทีมสมแจ้งเราลิงค์คงที่และเก็บไว้ตรวจสอบ .
11:43th : ทีมสมแจ้งเราลิงค์ที่ถูกลงอีก และให้เราทำการใด ๆที่จะแก้ไขมัน
12:20th : ทีมสนับสนุนของเฟของเรามาถึงปณ.เขตบางซื่อ# 2 แลกกับบัตรควบคุมใหม่
12:25th : FE ของเราแทนที่การ์ดคอนโทรลเลอร์ใหม่ และเราถามทีมสมสำหรับสถานะปัจจุบันที่ลูกค้าพบ .
12:30th : ทีมสมแจ้งเราลิงค์คงที่และเก็บไว้ตรวจสอบ และพบ 14:02th .
uih ครอสการ์ดเชื่อมต่อถูกแขวนด้วยเหตุผลที่ปณ.เขตบางซื่อ# 2 แล้วทีมสนับสนุนของเฟของเราไปเอาไม้กางเขนใหม่การ์ดเชื่อมต่อ .
14:10th : ทีมสมแจ้ง cid546961 อาการไม่เสถียร .
14:45th : ทีมสนับสนุนมาถึงโหนดใหม่ข้ามเชื่อมต่อการ์ด
14:50th ใหม่ของเราแทนนิว ครอสการ์ดเชื่อมต่อที่ p.o.bangsue # 2 ตรา
15:55th : ปณ.เขตบางซื่อ# 2 ตรามีปัญหาอีกครั้ง และ uih ตัดสินใจที่จะสร้างเส้นทางใหม่สำหรับวงจรนี้ uih
16:40th และสร้างเส้นทางใหม่สำหรับวงจรนี้เป็นการแก้ไขชั่วคราวและเก็บไว้ตรวจสอบ แต่เส้นทางนี้มีระยะทางยาวแล้ว ก็จะทำให้อาการไม่เสถียร )
16:45th :และ uih เตรียมรถพร้อมใช้งานบนเส้นทางระยะทางสั้น ๆเพื่อย้ายวงจรนี้ จากเส้นทางไปไกลเส้นทางระยะทางสั้นๆเช่นแก้ไขถาวร .
17:10th : ทีมสมแจ้งเราลิงค์ไม่เสถียรอาการ .
17:55th : ทีมสมแจ้งเราลิงค์คงที่และเก็บไว้ตรวจสอบ ( แจ้งเตือนที่ชัดเจนด้วยตัวของมันเอง )
18:36th :เราพบสัญญาณเตือนบนลำตัวของเส้นทางไกล แล้วเราพยายามที่จะล้างสล็อตเวลาที่มีอยู่เพื่อปรับวงจรนี้มาจาก 19:45th เส้นทาง
: หลังจาก NMC uih ได้เตรียมหาช่องเวลาที่พร้อมใช้งาน และ uih แล้วปรับให้มา
20:00th เส้นทาง และ uih พบสัญญาณเตือนบนลำต้นของต้นเส้นทางแล้วพยายาม ค้นหาเพิ่มประสิทธิภาพเส้นทางสำหรับเส้นทางส่ง .
20:25th :และ uih ปรับวงจรนี้เพื่อเพิ่มประสิทธิภาพของเส้นทาง ( ลัด )

09:57th 14 / 01 / 2552 ทีมสมแจ้งเราลิงค์ไม่เสถียรอาการ .
10:08th และ uih เปลี่ยนเส้นทางไปยังเส้นทางอื่น ๆ
10:20th และพบหีบบัตร uih E1 ล้มเหลวด้วยเหตุผลที่ไม่รู้จักและส่งเหล็กไปในโรงแรม
11:19th :เหล็กของเรามาถึงกับ E1 การ์ดแต่ยังคงรอลําใหม่ ทีมงานนำโมดูลอุปกรณ์ที่ใช้กับ E1 หีบบัตร
12:18th : Fe ของเราเปลี่ยนหีบบัตร และ uih ใหม่ E1 และขอให้สม เพื่อขออนุญาตส่งวงจรนี้มาจากเส้นทาง .
12:20th : ทีมสมแจ้งเราลิงค์คงที่และเก็บไว้ตรวจสอบ .
16:32th :และ uih พบข้อผิดพลาดปลุกบนลำต้น ( มันจะทำให้วงจรนี้เป็นวิกฤตลง ) ของเส้นทางนี้แล้วและ uih เตรียมที่จะปรับวงจรนี้มาจากเส้นทาง และเส้นทาง uih
16:35th มาจากเส้นทางและให้ตรวจสอบวงจรนี้อย่างใกล้ชิด