พระที่นั่งคูหาคฤหาสน์ ตั้งอยู่ภายในถ้ำพระยานคร บนไหล่เขาลูกหนึ่งของทิวเขาสามร้อยยอด ในพื้นที่เขตอุทยานแห่งชาติเขาสามร้อยยอด กิ่งอำเภอสามร้อยยอด จังหวัดประจวบคีรีขันธ์

ที่มาของชื่อ “ถ้ำพระยานคร” กล่าวกันว่าเนื่องจากพระยานครผู้ครองเมือง นครศรีธรรมราชเป็นผู้ค้นพบ แต่ยังไม่ทราบแน่ชัดว่าเป็นพระยานครท่านใด ระหว่างพระยานคร ซึ่งมีชีวิตอยู่ในช่วงสมัยกรุงศรีอยุธยา ในรัชสมัยสมเด็จพระนารายณ์มหาราช (พ.ศ.๒๑๙๙–๒๒๓๑) พระยานครผู้นี้ได้สั่งประหารศรีปราชญ ์ที่ถูกเนรเทศไปอยู่เมืองนครศรีธรรมราชโดยมิได้รับพระบรมราชานุญาต ในระหว่างเดินทางไปเข้าเฝ้า ได้แวะพักหลบคลื่นลม และหนีพระราชอาญาไปอยู่ที่ถ้ำแห่งนี้แต่สุดท้ายก็ถูกจับประหารชีวิต ส่วนพระยานครอีกท่านหนึ่งมีชีวิตอยู่ในสมัยรัชกาลที่ ๑ แห่งกรุงรัตนโกสินทร์ไทยมีสงครามกับพม่า (ตรงกับสมัยพระเจ้าปดุง) พระยานครถูกพม่าหลอกว่าตีเมืองแตกจึงหลบหนีไป ต่อมาเมื่อสอบสวนได้ความจริงแล้ว โปรดเกล้าฯ ให้กลับไปครองเมืองนครศรีธรรมราชตามเดิม ระหว่างเดินทางเกิดคลื่นลมจัด จึงหลบขึ้นไปบนเขาทำให้พบถ้ำแห่งนี้