เกาะเขาพิงกันตะวันตกและเกาะเขาพิงกันตะวันออก ซึ่งเชื่อมต่อกันด้วยสันดอนเชื่อมเกาะ รวมทั้งเกาะตะปูซึ่งตั้งอยู่หน้าเกาะ เป็นหินปูนเนื้อปนโดโลไมต์ (Dolomitic limestone) มีลักษณะเป็นหินปูนเนื้อแน่น(Massive) อายุยุคเพอร์เมียน (Permian) หรือราว 295 -250 ล้านปี การเกิดเป็นลักษณะเขาที่พิงกันนั้น เกิดจากรอยเลื่อนปกติ (Normal fault) ได้ตัดผ่านภูเขาด้านตะวันตกของเกาะ ในทิศทางทิศตะวันตกเฉียงเหนือ โดยมีการเอียงเทไปทางทิศตะวันตกเฉียงเหนือประมาณ 76 องศา แนวรอยเลื่อนนี้เฉือนให้หินปูนส่วนริมของเกาะขาดจากหินส่วนใหญ่ที่เป็นตัวเกาะ จากการศึกษารอยไถล หรือรอยครูดที่เกิดจากการเคลื่อนตัวของมวลหินบนระนาบรอยเลื่อน (Fault plane) ซึ่งปรากฏให้เห็นชัดเจนบนผิวหน้าเรียบที่มวลหินทั้งสองพิงกันนั้น พบว่ามวลหินปูนริมเกาะด้านทิศเหนือหรือส่วนที่ถูกเฉือนออก ได้เลื่อนตัวตกลงมาตามระนาบรอยเลื่อน ต่อมาภายหลังน้ำได้กัดเซาะฐานของมวลหินด้านเหนือจนกระทั่งขาดถึงระนาบรอยเลื่อน ทำให้มวลหินด้านเหนือหักและได้เคลื่อนตัวบิดเฉออกไปจากแนวรอยเลื่อนทำให้ได้ลักษณะมวลหินทิศเหนือพิงอยู่กับมวลหินขนาดใหญ่ด้านทิศใต้ หรือภูเขาหินปูนของเกาะเขาพิงกันตะวันตก
เขาพิงกันเป็นแหล่งท่องเที่ยวทางธรรมชาติที่มีความแปลก ชวนให้พิศวง เช่นเดียวกับเกาะตะปู ซึ่งอยู่ใกล้ๆ กันเป็นธรรมชาติที่ไม่พบเห็นได้บ่อยนัก จึงมีคุณค่าควรแก่การอนุรักษ์เป็นอย่างยิ่ง