ผู้คนในสมัยก่อนที่จะมียางลบ พวกเขาใช้ขนมปังสีขาวที่ไม่มีขอบเพื่อลบรอยดินสอแกรไฟต์และถ่านหิน ซึ่งวิธีนี้บางครั้งยังมีการใช้อยู่โดยศิลปินสมัยใหม่
ในปี ค.ศ. 1770 วิศวกรชาวอังกฤษชื่อ เอดเวิร์ด แนร์น (Edward Nairne) ได้รับการยอมรับว่าเป็นผู้คิดค้นยางลบที่ทำจากยางเป็นคนแรก เหตุที่แนร์นค้นพบยางลบคือเขาไปหยิบก้อนยางแทนที่จะเป็นขนมปังมาถูรอยดินสอโดยไม่ได้ตั้งใจ และค้นพบคุณสมบัติในการลบของยาง จากนั้นจึงเริ่มผลิตยางลบออกขาย และมีการรายงานว่ายางลบของเขามีราคา 3 ชิลลิงต่อครึ่งลูกบาศก์นิ้ว ซึ่งแพงมากในสมัยนั้น
อย่างไรก็ตาม ยางลบก็ไม่ได้ทำให้เกิดความสะดวกสบายไปมากกว่าขนมปัง เนื่องจากยางลบในขณะนั้นสามารถเน่าเสียและย่อยสลายได้เหมือนขนมปัง ต่อมาในปี ค.ศ. 1839 ชาร์ลส กูดเยียร์ (Charles Goodyear) ค้นพบกระบวนการวัลคาไนเซชัน (vulcanization) ซึ่งเป็นวิธีการรักษายางและทำให้เป็นวัสดุที่คงทนถาวร ยางลบที่ทำจากยางวัลคาไนซ์จึงเป็นที่นิยมจนถึงปัจจุบัน
เมื่อวันที่ 30 มีนาคม ค.ศ. 1858 ไฮเมน ลิปแมน (Hymen Lipman) จากฟิลาเดลเฟีย รัฐเพนซิลเวเนีย สหรัฐอเมริกา จดสิทธิบัตรในการติดยางลบเข้ากับปลายดินสออีกข้างหนึ่งเป็นครั้งแรก แต่ในภายหลังถูกยกเลิกเนื่องจากเป็นเพียงการนำอุปกรณ์สองชนิดประกอบเข้าด้วยกัน มากกว่าที่จะเป็นผลิตภัณฑ์ตัวใหม่
ยางลบอาจจะบล็อกสี่เหลี่ยม (บล็อกและยางลบลิ่ม) หรือหมวกรูปกรวยที่สามารถลื่นบนปลายของดินสอ (ยางลบหมวก)ยางลบบาร์เรลหรือคลิกเป็นอุปกรณ์ที่มีรูปร่างเหมือนดินสอ แต่แทนที่จะถูกเต็มไปด้วยไส้ดินสอ, ถังมีถังหดของวัสดุยางลบ (ไวนิลอ่อนที่สุดปกติ) ยางลบแปลกในบทบาทคู่เป็นรูปแกะสลัก (เช่นโน้ตดนตรี, สัตว์, ขนม) เป็นส่วนใหญ่ตกแต่งเป็นไวนิลหนักของพวกเขามีแนวโน้มที่จะหนักเครื่องหมาย smear