ว่ากันว่า หนุมานได้รับรางวัลจากพระราม ก็เลยมาสร้างเมืองแห่งนี้ นั้นก็คือ พระรามหรือพระรามแผงศรให้หนุมานมาอยู่ที่นี่ และสิ่งที่น่าแปลกใจมากก็คือว่า ตัวพระกาฬเราเชื่อกันว่าเป็นองค์พระนาราย เพราะมี 4 มือ หรือ 4 กร
ศาลพระกาฬเดิมเรียกว่าศาลสูง เนื่องจากศาลนั้นตั้งอยู่บนฐานศิลาแลงที่อยู่สูงจากพื้นดินจากพื้นดินเป็นศาสนสถานที่เป็นฐานศิลาแลงขนาดมหึมา สันนิษฐานกันว่าฐานศิลาแลงดังกล่าวเป็นฐานพระปรางค์ที่ยังสร้างไม่เสร็จ ซึ่งจากตำนาน ของเจ้าพ่อพระกาฬที่ค้นพบทีแรกนั้นไม่ได้มีการบันทึกแต่อย่างใด ว่ามาจากไหนหรือผู้ใดเป็นคนค้นพบ แต่จากการค้นพบในครั้งแรกพบว่า ในอดีตองค์ท่านนั้นไม่มีพระเศียร และพระกร กล่าวกันว่าเจ้าพ่อพระกาฬได้ไปเข้าฝันผู้ประสงค์ดีท่านหนึ่ง นัยว่าขอพระเศียรและพระกรเท่าที่จะหามาได้ ซึ่งได้มีผู้ศรัทธาได้จัดหาเศียรพระศิลาทรายศิลปะสมัยอยุธยา ส่วนพระกรนั้นได้เพียงสองข้างจากทั้งหมดสี่ข้าง ส่วนองค์เดิมเป็นองค์สีดำ ปัจจุบันเจ้าพ่อพระกาฬไม่เหลือเค้าเดิมซึ่งมีสีดำอีกแล้ว เนื่องจากมีผู้ศรัทธาที่มากราบไหว้บูชาได้ปิดทองที่องค์ท่านจนกลายเป็นสีทองเหมือนที่เราเห็นในปัจจุบันกล่าวกันว่าปีหนึ่งมีผู้มานมัสการไม่ต่ำกว่าหนึ่งแสนคน
แต่ถ้ามาที่นี่ก็คงสงสัยอีกว่าเหตุใดลพบุรีนั้นจึงเต็มไปด้วยลิง สันนิฐานกันว่าพื้นที่บริเวณแถบนี้ แต่เดิมบริเวณโดยรอบศาลพระกาฬเป็นป่าคงมีลิงป่าอาศัยอยู่เป็นป่าอยู่จำนาวนมาก เมื่อมีผู้คนมากราบไหว้ศาลก็จะมีสิ่งของผลไม้ต่างๆมากราบไหว้ ทำให้ลิงรู้ว่าที่นี่อุดมสมบูรณ์ ก็เลยตามมาอยู่ที่นี่ ลิงดังกล่าวยังชีพด้วยของถวายแก้บน ซึ่งส่วนใหญ่เป็นผลไม้ จึงเป็นที่มาของลิง และในความเชื่อว่ากันว่าที่นี่เป็นต้นกำเนิดหรือเป็นที่นับถือศักกาละ หรือเป็นพระนาราย และลิงก็เป็นทหราเอกของพระนาราย จึงทำให้ลิงเหล่านี้มาอยู่กับพระนารายนั่นเอง