ในสมัย 315 ปี เดิม ตำบลฉลุง ตั้งอยู่ที่ควนเทียมดา อยู่ทางทิศเหนือของคลองปอม เป็นจุดกึ่งกลางของหมู่บ้าน ในอดีตพื้นที่ตำบลฉลุง เป็นป่าที่อุดมสมบูรณ์ มีสัตว์มากมายหลายชนิด โดยเฉพาะช้าง จึงทำให้มีการจับช้างมาฝึกในบริเวณที่ตั้งของหมู่ที่ 2 ในปัจจุบัน ซึ่งสถานที่นี่เป็นที่ฝึกช้างชาวบ้านในสมัยก่อนเรียกว่า“หลุงช้าง” สำหรับการฝึกช้างนั้นโดยมีการขุดร่องหลุมลึกขนาดใหญ่ ประมาณจมหลังช้าง เมื่อจับช้างมาได้ ก็จะต้อนช้างเข้าไป แล้วนายพรานจะขึ้นขี่ช้าง บังคับฝึกช้างเข้าใจคำสั่งจนช้างมีความเชื่องก่อนนำช้างไปลากไม้ซุง
     เมื่อชาวบ้านจะไปบริเวณที่มีการฝึกช้าง ก็จะพูดสั้นๆ ตามภาษาคนท้องถิ่นว่าไป “หลุง” จนติดปากชาวบ้านว่า “บ้านหลุง” ซึ่งในปัจจุบันก็ยังมีการเรียกชื่อ “บ้านฉลุง” ว่า “บ้านหลุง” ต่อมา กระทรวงมหาดไทยกำหนดให้มีการตั้งชื่อตำบลเพื่อให้ฟังไพเราะขึ้นก็ได้ตั้งชื่อว่า “ฉลุง” จนกระทั่งจัดตั้งตำบลจึงเรียกว่า “ตำบลฉลุง” มาจนถึงปัจจุบัน
     สำหรับ องค์การบริหารส่วนตำบลฉลุง ตั้งอยู่บ้านโคกขี้เหล็ก หมู่ที่ 1 ถนนเพชรเกษม ตำบลฉลุง อำเภอหาดใหญ่ จังหวัดสงขลา เดิมเป็นสภาตำบลได้ยกฐานะเป็นองค์การบริหารส่วนตำบลตามประกาศในราชกิจจานุเบกษา ฉบับกฤษฎีกาเล่มที่ 113 ตอนที่ 9 ง. ลงวันที่ 29 มีนาคม 2539 มีผลบังคับใช้ตั้งแต่วันที่ 30 มีนาคม 2539 มีจำนวนพื้นที่ทั้งหมด 87,018.75 ไร่ ( 1 ตร.กม. = 625 ไร่ )