ตำบลห้วยทราย เป็นบ้านวังด้วน หมู่ที่ 5 ตำบลคลองวาฬ และได้จัดตั้งเป็น
ตำบลห้วยทราย ตามประกาศกระทรวงมหาดไทย เมื่อวันที่ 15 สิงหาคม 2516 โดยมีหมู่บ้านทั้งหมด 5 หมู่บ้าน
หมู่ที่ 1 บ้านวังด้วน
หมู่ที่ 2 บ้านต้นเกตุ
หมู่ที่ 3 บ้านวังมะเดื่อ
หมู่ที่ 4 บ้านสองกะลอน
หมู่ที่ 5 บ้านหุบผึ้ง
ต่อมาได้มีการจัดตั้งหมู่บ้าน เพิ่มเติมอีก 8 หมู่บ้าน ขึ้นอีกเป็น 13 หมู่บ้านในปัจจุบัน โดยมีนาย มานพ ทัดแก้ว ผู้ใหญ่บ้าน หมู่ที่ 1 เป็นกำนันคนแรกของตำบลห้วยทราย
คนทั่วไปมักจะเรียกตำบลห้วยทรายว่าบ้านต้นเกตุ เป็นเพราะว่ามีต้นเกตุใหญ่ เป็นสัญลักษณ์ ที่รู้จักกันโดยทั่วไป สิ่งที่ชาวบ้านเคารพนับถือ ศาลเจ้าแม่การะเกตุ ซึ่งเคยอยู่คู่กับต้นเกตุใหญ่ ต่อมาได้ย้ายศาลเจ้าแม่ฯ มาไว้คู่กับต้นเกตุอีกต้นหนึ่ง ซึ่งอยู่ติดกับตลาดต้นเกต เพราะว่าทางการได้ตัดถนนผ่านจึงทำให้ต้องโค่นต้นเกตุ ใหญ่ต้นเดิม ทิ้งไป และทุก ๆ ปี ชาวบ้านจะมีพิธีบวงสรวงศาลเจ้าแม่การะเกตุ