ถ้ำฝาโถ บนผนังถ้ำทางด้านทิศใต้มีภาพจำหลักรูปพระพุทธรูปไสยาสน์ขนาดใหญ ่หันพระเศียรไปทางปากถ้ำ มีประภามณฑลหลังพระเศียร เหนือขึ้นไปเป็นภาพปูนปั้นรูปเทพชุมนุม และต้นไม้มีการตกแต่งด้วยริ้วผ้าและเครื่องประดับ ส่วนผนังถ้ำทางด้านทิศเหนือมีภาพพระสาวกจำนวน ๔ องค์ บางองค์ยืนพนมมือ บางองค์ยืนเอียงตนอยู่ในท่าตริภังค์ ลักษณะการสลักภาพลงบนผนังถ้ำนี้มีรูปแบบใกล้เคียงกับ ภาพสลักบนผนังถ้ำอชันตาในประเทศอินเดีย ที่สร้างขึ้นในราวพุทธศตวรรษที่ ๑๒ คูหาถ้ำฝาโถด้านในพบชิ้นส่วนพระพุทธรูปหินทรายแดงเป็นจำนวนมาก ส่วนบริเวณปากถ้ำมีร่องรอยของโครงหลังคามุงกระเบื้องดินเผาและแนวกำแพงก่ออิฐถือปูน ซึ่งสันนิษฐานว่าเป็นโบราณวัตถุและสถาปัตยกรรมในสมัยกรุงศรีอยุธยา

ถ้ำจีน ภายในถ้ำมีภาพจำหลักพระพุทธรูปปูนปั้นปรากฏอยู่บนผนังสององค์ โดยองค์ด้านในเป็นพระพุทธรูปประทับนั่งขัดสมาธิราบ ปางแสดงธรรมเทศนา องค์ด้านนอกเหลือเพียงครึ่งองค์ลักษณะคล้ายกับองค์แรก สันนิษฐานว่าเดิมคงจะสร้างขึ้นในสมัยทวารวดี (พุทธศตวรรษที่ ๑๒–๑๓) ต่อมาถูกดัดแปลงโดยพอกทับด้วยปูนปั้นในสมัยกรุงศรีอยุธยา

ถ้ำจาม ภายในถ้ำมีภาพจำหลักบนผนังทุกด้าน ด้านทิศเหนือเป็นภาพตอนยมกปาฏิหาริย์ที่เมืองสาวัตถี ประกอบ ด้วยภาพพระพุทธรูปประทับนั่ง แสดงปางสมาธิ และปางแสดงธรรมอยู่ท่ามกลางต้นมะม่วงที่มีผลอยู่เต็มต้น ซึ่งนิยมทำกันในสมัยทวารวดีดังปรากฏในภาพสลักหินและพระพิมพ์ การสร้างภาพตอนยมกปาฏิหาริย์นี้ได้รับอิทธิพลมาจากเรื่องพุทธประวัติในอรรถกถาภาษาบาลี ลัทธิหินยาน ส่วนผนังถ้ำทางด้านใต้ และด้านตะวันออกเป็นภาพปูนปั้นรูปบุคคลขี่คอซ้อนกันขึ้นไป และรูปพังพานพญานาคของพระพุทธรูปปางนาคปรก ผนังด้านตะวันตกเป็นภาพพระพุทธรูปไสยาสน์ แสดงปางปรินิพพาน

กรมศิลปากรประกาศขึ้นทะเบียนถ้ำฤาษี เป็นโบราณสถานของชาติในราชกิจจานุเบกษา เล่ม ๕๒ ตอนที่ ๗๕ เมื่อวันที่ ๘ มีนาคม ๒๔๗๘ และประกาศขึ้นทะเบียนถ้ำฝาโถ พระพุทธบาท ถ้ำจีน ถ้ำจาม เป็นโบราณสถานของชาติในราชกิจจานุเบกษา เล่ม ๙๑ ตอนที่ ๑๗๔ เมื่อวันที่ ๑๕ ตุลาคม ๒๕๑๗