ตามตำนานในอดีตวัดถ้ำวัวแดงรู้จักในชื่อ ถ้ำวัวแดงหรือถ้ำประทุน เพราะภายในถ้ำมีหลังคาเหมือนประทุนล้อเกวียน ถ้ำวัวแดงเป็นถ้ำบำเพ็ญเพียรปฏิบัติธรรมอยู่ในเทือกเขาพญาฝ่อ ค้นพบโดยพระบรมครูหลวงปู่เทพโลกอุดร ราวพุทธศักราช 2363 ถ้ำวัวแดงเป็นหนึ่งในหลายสิบถ้ำที่เหมาะสมในการปฏิบัติธรรม มีธรรมชาติอุดมสมบูรณ์ เทือกเขาล้อมรอบ เป็นแหล่งต้นน้ำลำธาร มีภูมิประเทศสลับซับซ้อน มีทัศนียภาพที่สวยงาม ร่มรื่นไปด้วยไม้นานาพันธุ์ สงบเงียบ มีสัตว์ป่าน้อยใหญ่หลายชนิดอาศัยในเทือกเขาแถบนี้
ปี 2443 หลวงปู่สายบัว ยโสธโร เมื่อครั้งยังเป็นสามเณร “หลวงปู่เทพโลกอุดร” ได้พามาบำเพ็ญเพียรปฏิบัติธรรมถึง 7 วัน 7 คืน เมื่อเห็นสมควรแก่เวลาจึงมาส่งยังด้านนอก ต่อมาละสังขาร คณะลูกศิษย์ได้นำอัฐิและอัฐบริขารมาบรรจุไว้ที่เจดีย์ใกล้ถ้ำวัวแดง