ประมาณปี 2541 เป็นต้นมา ทางวัดถ้ำอภัยดำรงธรรม-ถ้ำพวง และคณะกรรมการ ญาติโยม ลูกหลานทั้งที่อยู่ใกล้ไกลได้รวมกำลังสมัครสมานสามัคคีร่วมแรงร่วมใจลงมือก่อสร้างสังเวชนียสาถน คือ สถานที่ประสูติซึ่งได้ออกแบบเป็นเจดีย์สถูปทรงกลม มีพิธีวางศิลาฤกษ์เมื่อวันที่ 27 เมษายน 2541 โดยคุณไพศาล ปันทวังกูร ภายในเป็นห้องโถงใหญ่มีรูปหล่อพระนางสิริมหามายาเทวีประดิษฐาน ปางยืนประสูติพระโพธิสัตว์ราชโอรส หล่อด้วยทองเหลืองเท่าองค์จริง พระหัตถ์ขาวเหนี่ยวกิ่งสาระ มีความเด่นสง่าพิสดารสวยงามมาก ผนังทางด้านหลังรูปหล่อเขียนเป็นภาพวิวทิวทัศน์ภูเขาด้วยสีน้ำมองดูแล้วสวยงามมาก บนฝ้าเพดานจะปั้นเป็นรูปพระธรรมจักรขนาดใหญ่มีลายไทยล้อมรอบทาด้วยสีทองเหลืออร่าม ส่วนบนยอดเจดีย์บรรลุพระบรมสารีริกธาตุหลายพันองค์ โดยมีพระสุธรรมคณาจารย์(หลวงปู่เหรียญ วรลาโภ) วัดอรัญญบรรพต อ.ศรีเชียงใหม่ จ.หนองคาย เป็นประธานเมื่อวันที่ 27 เมษายน 2542 ทางด้านหน้าของเจดีย์มีเสาหินพระเจ้าอโศกมหาราชจำลองเท่าของจริงมีความเด่นเป็นสง่า
เมื่อพระเจดีย์สิริมหามายาเสร็จสิ้นไปแล้วก็ได้ลงมือก่อสร้างเจดีย์ศรีมหาโพธิ์จำลองต่อไป เริ่มต้นเมื่อวันที่ 11 มกราคม 2542 เป็นต้นมาโดยลงมือเทพื้นฐานรากของตัวเจดีย์ เมื่อเสร็จแล้วได้ทำพิธีวางศิลาฤกษ์วันที่ 27 เมษายน 2542
โดยมีพระเดชพระคุณ พระเทพวราภรณ์ วัดโสมัสวิหาร กรุงเทพฯ และพระเดชพระคุณ พระสุธรรมคณาจารย์ (หลวงปู่เหรียญ วรลาโภ) วัดอรัญญบรรพต อ.ศรีเชียงใหม่ จ.หนองคาย เป็นประธานสงฆ์ โดยโครงสร้างเป็นคอนกรีตเสริมเหล็ก ชั้นล่างเป็นห้องโถงใหญ่มีพระประธาน 5 องค์ เรียงลำดับตั้งแต่ปางเสวยวิมุติสุขจากการตรัสรู้ไปถึงปางนาคปรก ด้านหลังพระประธานจะเขียนด้วยสีน้ำมันเป็นรูปพระศรีมหาโพธิ์และประกอบด้วยวิวทิวทัศน์ป่าไม้ภูเขาเขียวชะอุ่มเย็นตา ทัศนียภาพที่กว้างไกลออกไปจะเห็นภูเขาหิมาลัยขาวโพลนไปด้วยหิมะด้านหน้าศรีมหาโพธิ์จะมีลักษณะเป็นลำน้ำ คงหมายถึงแม่น้ำเนรัญชรา ชั้นบนมีพระประธานองค์ใหญ่ปางยืนสูงประมาณ3 เมตร รอบนอกจะมีระเบียงและมีเจดีย์องค์เล็กอยู่ตามมุมทั้ง 4 ภายในเจดีย์เล็กจะมีพระพุทธรูปปางยืนทุกองค์ ด้านนอกของเจดีย์จะมีพระพุทธรูปองค์เล็กองค์ใหญ่เรียงรายอยู่ตามผนัง จนถึงโคนยอดประมาณ 200 กว่าองค์ตามแบบของจริงที่อินเดีย รอบพระเจดีย์ทั้งสามด้านมีรั้วเหมือนกับที่อินเดีย เว้นด้านทิศตะวันออกซึ่งติดกับเขา เสาเอกทางเข้าประตูใหญ่ได้มาตรฐาบนยอดเสาเป็นลวดลายกาบบัวงามวิจิตรพิสดารเป็นเอกลักษณ์
โดยมีพระเดชพระคุณ พระเทพวราภรณ์ วัดโสมัสวิหาร กรุงเทพฯ และพระเดชพระคุณ พระสุธรรมคณาจารย์ (หลวงปู่เหรียญ วรลาโภ) วัดอรัญญบรรพต อ.ศรีเชียงใหม่ จ.หนองคาย เป็นประธานสงฆ์ โดยโครงสร้างเป็นคอนกรีตเสริมเหล็ก ชั้นล่างเป็นห้องโถงใหญ่มีพระประธาน 5 องค์ เรียงลำดับตั้งแต่ปางเสวยวิมุติสุขจากการตรัสรู้ไปถึงปางนาคปรก ด้านหลังพระประธานจะเขียนด้วยสีน้ำมันเป็นรูปพระศรีมหาโพธิ์และประกอบด้วยวิวทิวทัศน์ป่าไม้ภูเขาเขียวชะอุ่มเย็นตา ทัศนียภาพที่กว้างไกลออกไปจะเห็นภูเขาหิมาลัยขาวโพลนไปด้วยหิมะด้านหน้าศรีมหาโพธิ์จะมีลักษณะเป็นลำน้ำ คงหมายถึงแม่น้ำเนรัญชรา ชั้นบนมีพระประธานองค์ใหญ่ปางยืนสูงประมาณ
ได้ทำพิธีวางศิลาฤกษ์เมื่อวันที่ 27 เมษายน 2544 โดยมีพระเดชพระคุณ พระสุธรรมคณาจารย์ (หลวงปู่เหรียญ วรลาโภ) วัดอรัญญบรรพต อ.ศรีเชียงใหม่ จ.หนองคาย เป็นประธาน ภายในตัวสถูปเป็นห้องโถงใหญ่ มีพระพุทธรูปปางปฐมเทศนาโปรดปัญจวัคคีย์ทัง 5 หน้าตักกว้าง 60 นิ้ว หล่อด้วยทองเหลือง รอบผนังจะเป็นซุ้มประกอบลวดลายสวยงามประดิษฐานด้วยพระอสีติมหาสาวก 14 องค์หล่อด้วยทองเหลืองเท่าองค์จริง บนฝ้าเพดาน ปั้นเป็นรูปธรรมจักรขนาดใหญ่ประกอบไปด้วยลวดลายไทย ทาด้วยสีทองเหลืองอร่ามเป็นที่งดงามยิ่งนัก
สังเวชนียสถานแห่งที่ ๔ สถานที่ดับขันธปรินิพพาน
สังเวชนียสถานแห่งที่ ๔ สถานที่ดับขันธปรินิพพาน
ก่อสร้างตามแบบเดิมทุกประการเพียงแต่ย่อส่วนให้เล็กลงตามความเหมาะสม ได้ประกอบพิธีวางศิลาฤกษ์โดยมีพระเดชพระคุณ พระเทพญาณวิศิษฐ์ เจ้าอาวาสวัดพระราม 9 กรุงเทพฯ เป็นประธานสงฆ์เมื่อวันที่ 27 เมษายน 2545สังเวชนียสถานทั้ง 4 ตำบลได้เกิดขึ้นบนผืนแผ่นดินไทยของเราซึ่งถือว่าเป็นสิ่งที่หาโอกาสได้ไม่ง่ายนัก ใช้เส้นทางสายสกลนคร-อุดรธานี เส้นทางหลวงหมายเลข 22 ระยะทางประมาณ 84 กิโลเมตร ก็จะถึงอำเภอสว่างแดนดิน เลี้ยวซ้ายผ่านอำเภอส่องดาวไปถึงวงเวียนอนุสาวรีย์พระเวสสันดรระยะทางอีกประมาณ 27 กิโลเมตร จากอนุสาวรีย์หากแยกขวาจะไปวัดถ้ำอภัยดำรงธรรม ตรงไปประมาณ 5 กิโลเมตร จะถึงพิพิธภัณฑ์ พระอุดม สังวรวิสุทธิ สร้างเป็นรูปทรงจตุรมุข 2 ชั้น ประดับด้วยหินอ่อนทั้งหลัง ชั้นล่าง ตกแต่งเป็นห้องแสดงภาพวาดเกี่ยวกับประวัติของพระอาจารย์ตั้งแต่เกิด ส่วน ชั้นบน มีรูปปั้นของท่านในท่านั่งขัดสมาธิ พร้อมเครื่องสักการะบูชาที่ตกแต่งสวยงาม และตู้กระจกแสดงเครื่องอัฐบริขารของท่าน บริเวณใกล้เคียงกันมีถ้ำพวงซึ่งเป็นที่ประดิษฐานพระมุจรินทร์องค์ใหญ่ และยังมีสังเวชนียสถาน 4 ตำบลขนาดใหญ่อยู่ด้วยนอกจากนี้วัดถ้ำพวงยังมีน้ำตกเจ็ดชั้นให้ผักผ่อนคลายร้อนและยังมีหอดูดาวให้ได้ชมวิวต่างๆทั้งในตัวอำเภอส่องดาวและพื้นที่ใกล้เคียงอีกด้วย