“หั่งอาหล่าย” คือ ชื่อดั้งเดิมของซอยรมณีย์ เปล่งเสียงตามสําเนียงชาวจีนฮกเกี้ยนส่วนสําเนียงจีนกลางก็ว่า ฮ่างจื่อเน่ย ต่อมาในสมัยพระยารัษฎานุประดิษฐ์มหิศรภักดี (คอซิมบี้ ณ ระนอง) ท่านมาเป็นสมุหเทศาภิบาล มณฑลภูเก็ต ประมาณปี 2445 ซึ่งเป็นยุคที่การทำเหมืองแร่กำลังรุ่งเรือง ประชากรอันเนื่องมาจากแรงงานชายในการทำเหมืองมีจำนวนมาก จึงมีโสเภณีจากญี่ปุ่น มลายูมาเก๊า ได้เข้าไปทำมาหากินในเมืองภูเก็ต พระยารัษฎาฯ จึงจัดระเบียบให้ผู้หญิงนั้นอยู่ในบริเวณเดียวกันแล้วเปลี่ยนชื่อเป็น “ซอยรมณีย์” ที่แปลว่า น่ารัก น่ายินดี น่าสนุก น่าสบาย เพื่อสะดวกในการควบคุม