หอนาฬิกานี้ถูกสร้างหลังจากไฟไหม้พระราชวังเวสต์มินสเตอร์เดิม เมื่อวันที่ 16 ตุลาคม พ.ศ. 2377 โดยชาลส์ แบร์รี เป็นผู้ออกแบบ หอนาฬิกามีความสูง 96.3 เมตร โดยที่ตัวนาฬิกาอยู่สูงจากพื้น 55 เมตร ตัวอาคารสร้างด้วยสถาปัตยกรรมสมัยสมเด็จพระราชินีนาถวิกตอเรีย (victorian gothic) ชื่อหอเอลิซาเบธตั้งขึ้นเพื่อฉลองพระราชพิธีพัชราภิเษก หรือพระราชพิธีมหามงคลฉลองสิริราชสมบัติครบ 60 ปี ของสมเด็จพระราชินีนาถเอลิซาเบธที่สอง