หอเอลิซาเบธมีความสูงทั้งหมด 96.3 เมตร โดยในช่วง 61 เมตรแรก เป็นอาคารก่อด้วยอิฐ บุด้วยหิน ส่วนที่สูงจากนั้นเป็นยอดแหลมทำด้วยเหล็กหล่อ ตัวหอตั้งอยู่บนฐานกว้าง 15 เมตร ยาว 15 เมตร หนา 3 เมตร อยู่ใต้ดินลึก 7 เมตร ตัวหอทั้งหมดหนักโดยประมาณ 8,667 ตัน หน้าปัดนาฬิกาทั้งสี่ด้านอยู่สูงจากพื้น 55 เมตร
เดิมทีหอเอลิซาเบธเอนไปทางทิศตะวันตกเฉียงเหนือประมาณ 220 มิลลิเมตร แต่ปัจจุบันหอเอลิซาเบธเอนมากขึ้นเนื่องจากการขุดอุโมงค์รถไฟฟ้าใต้ดินใกล้ย่านเวสต์มินสเตอร์ โดยสังเกตได้ว่าเอียงปีหนึ่งประมาณ 0.9 มิลลิเมตร จนเห็นได้ชัดเจน