เกาะปันหยีเป็นหมู่บ้านชาวประมงเก่าแก่กว่า 200 ปี เป็นชุมชนที่นับถือศาสนาอิสลาม ตัวเกาะปันหยีนั้นเป็นเกาะที่อยู่กลางทะเลบริเวณอ่าวพังงา มีหน้าผาเป็นภูเขาหนึ่งลูกตั้งโดดไว้ มีชุมชนบ้านเรือนเรียงรายปักเสายกระดับไว้้เพื่อให้พ้นการขึ้น- ลง ของน้ำทะเลในทะเล ดูเผินๆเหมือนเป็นชุมชนลอยน้ำ คำว่า “ปันหยี” มีคำแปลว่า “ธง” ในสมัยก่อนมีครอบครัวชาวชวาเป็นผู้นำการอพยพด้วยเรือสำเภาออกมาหาที่ทำกินใหม่ ตกลงกันว่าหากใครพบที่ทำกินที่อุดมสมบูรณ์ให้ปักธงไว้ จึงได้ตั้งรกรากถิ่นฐานและเกิดเป็นชุมชนเกาะปันหยีขึ้น