县位于湖南省南部边陲，永州市西南部，东南与江华瑶族自治县接壤，南与广西富川瑶族自治县相连，西南与广西恭城瑶族自治县交界，西北与广西灌阳县毗邻，北部紧靠道县。地理坐标为东经110°32′～110°56′，北纬24°55′～25°28′之间。南北长63千米，东西宽55.5千米，总面积1540平方千米。县政府驻地位于潇浦镇千家峒路27号。距省城长沙和南方中心城市广州均是400多千米；距市府永州和旅游城市桂林均为180千米。有铁路和高速公路与外连通。