ภูสมุย ชื่อนี้แม้ว่าจะเขียนเหมือนกับเกาะสมุย ในจังหวัดสุราษฎร์ธานี แต่อ่านออกเสียงว่า สะ-มุย ปัจจุบันอยู่ในความดูแลขององค์การบริหารส่วนตำบล อำเภอโพธิ์ไทร ซึ่งครอบคลุมพื้นที่ประมาณ 106 ตารางกิโลเมตร ด้วยพื้นที่ที่กว้างใหญ่ของอุทยานแห่งชาติผาแต้มที่ครอบคลุม 3 อำเภอ คือ อำเภอโขงเจียม อำเภอศรีเมืองใหม่ และอำเภอโพธิ์ไทร ภูสมุย จึงเป็นภูเขาที่อยู่ในเขตอุทยานแห่งชาติผาแต้ม ตั้งอยู่ทางทิศเหนือของที่ทำการอุทยานฯ โดยมีอาณาเขตติดต่อกัน ทิศเหนือติดกับตำบลสองคอน ทิศใต้ติดกับตำบลเหล่างาม ทิศตะวันตกติดกับตำบลสารภี และทิศตะวันออกติดกับแม่น้ำโขงเส้นพรมแดนระหว่างไทย – ลาว
สภาพภูมิประเทศโดยทั่วไปในเขตภูสมุย เป็นที่ราบสูงสลับกับภูเขาสูงชันในแถบริมแม่น้ำโขง พื้นที่โดยส่วนใหญ่จะเป็นลายหินกระจายอยู่ทั่วไป รวมถึงเสาหินที่เกิดจากการกัดเซาะของลมและฝนจนมีลักษณะที่พิเศษและรูปร่างที่แปลกตาอยู่มากมาย พื้นที่ป่าส่วนใหญ่เป็นป่าเต็งรัง ยกเว้นบริเวณใกล้ ๆ กับลานหินจะเป็นป่าโปร่ง ต้นไม้ใหญ่ที่สำคัญในพื้นที่คือ เต็ง รัง ประดู่ เหียง กะบาก เป็นต้น