อัญมณีกาญจนบุรี ที่มีชื่อเสียงที่สุดคงหนีไม่พ้น พลอยเมืองกาญจน์ ซึ่งตระกูลที่ขึ้นชื่อและได้รับความชื่นชอบมากที่สุดคือ นิล และ ไพลิน ซึ่งเป็นพลอยที่พบได้มากในเมืองกาญจน์เท่านั้น สถานที่เฉพาะเจาะจงลงไปอีกคือ อ.บ่อพลอย เป็นที่อยู่เด่นของอัญมณีกาญจนบุรี มีการทำเหมืองพลอยให้เจอะอยู่มากมาย อ.บ่อพลอยนั้นอยู่ไม่ห่างไกลจากสะพานข้ามแม่น้ำแควเท่าไหร่นัก ตั้งแต่แรกอ.บ่อพลอยซึ่งเป็นถิ่นใหญ่ของพลอยเมืองกาญจน์นั้น เป็นเพียงแค่ กิ่งอำเภอบ่อพลอย อย่างเดียว แต่ต่อมาได้รับการยกระดับขึ้นไปเป็น อ.บ่อพลอย เหตุว่าถือเป็นอำเภอที่เด่นต่ออัญมณีกาญจนบุรี หรือ พลอยเมืองกาญจน์เป็นอย่างสูง ตามนิทานที่เล่าเรื่องกันมาประวัติความเป็นมาของ อ.บ่อพลอยนั้น ยังไร้หลักฐานและข้อมูลที่แน่ชัด มีแต่คนที่เล่าบอกต่อกันมาบ่อยว่า ในสมัยเก่าแก่ มีหมู่บ้านซึ่งค้นพบว่ามี อัญมณีกาญจนบุรีและก้อนหินสีต่างๆ อยู่เป็นจำนวนมาก โดยพบทั้งตามแหล่งน้ำลำธาร และตามตีนเขา ชาวบ้านทั่วๆ ไปเจอะเจอได้เก็บเพชรพลอยพวกนั้นมา โดยไม่รู้ว่าสิ่งนั้นคือสิ่งไร ตอนหลัง ทางการได้ตระหนักว่าก้อนหินสีนั้นเป็นพลอยกาญจนบุรี เลยได้ตั้งชาวกระเหรี่ยงขึ้นมาเป็นผู้สั่งการนายหนึ่ง และมอบหมายงานหน้าที่ให้ไปเก็บสะสมพลอยเมืองกาญ เพื่อส่งไปยังเมืองกาญจนบุรีปีละครั้ง หลังจากนั้นเจ้าเมืองกาญจนบุรี จะส่งพลอยจำนวนนี้เท่าที่มีไปยังกรุงเทพ เรียกว่า “ส่งส่วยพลอย” ในหมู่บ้านนั้นมีแหล่งน้ำเป็นที่ลุ่มแห่งหนึ่ง ซึ่งใช้ล้างพลอย เรียกว่า “บึงหัวแหวน” จากนั้น ข่าวเกี่ยวกับหมู่บ้านแห่งนี้ได้แพร่กระจายออกไป เป็นเหตุให้นักเสาะหาโชคทั้งปวง ได้เคลื่อนย้ายบ้านเกิดเข้ามาเพื่อขุดพลอย ภายหลังจึงได้มีการเปลี่ยนชื่อหมู่บ้านนี้มาเป็น “บ้านบ่อพลอย” ซึ่งขึ้นอยู่ อ.พนมพวน เมื่อมีประชาชนพลเมืองมากขึ้นเรื่อยๆ จึงได้หมายประกาศยกตำแหน่งเขตขึ้นเป็น อ.บ่อพลอย จนถึงตอนนี้ พื้นที่ของอ.บ่อพลอย จะอยู่ห่างไกลจากเมืองกาญจนบุรีราวๆ 48 กม. ระหว่างทางจะพบเหมืองพลอยตามข้างทางอยู่ทั่วๆ ไป ส่วนใหญ่แล้วจะเป็น พลอยเมืองกาญจน์ตระกูล พลอยไพลิน บุษราคัม และนิล ” อัญมณีกาญจนบุรี และ พลอยเมืองกาญจน์ ที่มาจากอำเภอบ่อพลอยนั้น จะเอามาเกลา เพื่อให้ขึ้นเป็นงานตามรูปร่างที่ประณีต ทั้งเป็นพลอยเม็ด และทำเป็นสิ่งประดับ เช่น สร้อย กำไล ธำมรงค์ และอื่นๆ