ตั้งอยู่ภายในมหาวิทยาลัยราชภัฏรำไพพรรณี ตำบลท่าช้าง ห่างจากตัวเมือง 6 กิโลเมตร ตามทางหลวงหมายเลข 316 เป็นที่ประทับของสมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินีในรัชกาลที่ 7 ตั้งแต่ ปี พ.ศ. 2493-2511 รวม 18 ปี
สิ่งก่อสร้างในบริเวณวังสวนบ้านแก้ว ได้แก่ พระตำหนักใหญ่ (พระตำหนักเทา) เป็นอาคารครึ่งตึกครึ่งไม้แบบยุโรป ทาสีเทา สร้างด้วยไม้สักทองทั้งหลัง พระตำหนักนี้ทรงใช้เป็นที่ประทับส่วนพระองค์ และรับรองพระราชอาคันตุกะ ปัจจุบันเป็นที่รวบรวมสิ่งของเครื่องใช้ส่วนพระองค์ซึ่งแสดงถึงการใช้ชีวิตที่เรียบง่ายแบบสามัญ พระตำหนักดอนแค (พระตำหนักแดง) เป็นอาคารทรงยุโรปสองชั้น สร้างด้วยไม้สัก ทาสีแดง ปัจจุบันจัดเป็นพิพิธภัณฑ์วัฒนธรรมท้องถิ่น ภายในจัดแสดงแบ่งออกเป็น 5 ห้อง ได้แก่ ห้องภูมิศาสตร์จันทบุรี ห้องดนตรี นาฏศิลป์ ห้องวัฒนธรรมท้องถิ่น ห้องขุดพลอย ห้องภูมิปัญญาท้องถิ่น เรือนเขียว ตั้งอยู่ทางทิศตะวันตกเฉียงใต้ของพระตำหนักเทา ประมาณ 200 เมตร เป็นเรือนไม้ชั้นเดียว ทาสีเขียว ปัจจุบันเป็นสำนักศิลปวัฒนธรรมและพัฒนาชุมชนของมหาวิทยาลัยราชภัฏรำไพพรรณี เรือนแดง ตั้งอยู่ทางทิศตะวันตกเฉียงใต้ของพระตำหนักเทา ปัจจุบันจัดเป็นห้องให้ศึกษาค้นคว้าข้อมูลพระราชประวัติของพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัว ฯลฯ
นอกจากนั้นภายในมหาวิทยาลัยราชภัฏรำไพพรรณีจัดเป็นอุทยานการเรียนรู้ เป็นป่าธรรมชาติภายในมหาวิทยาลัยฯ มีพื้นที่ 50 ไร่ จัดเป็นเส้นทางศึกษาธรรมชาติ ป่าอนุรักษ์พันธุกรรมพืช มี 2 ส่วน ได้แก่ ทางบก ระยะทาง 440 เมตร และทางน้ำ ระยะทาง 700 เมตร