เนลสัน แมนเดลา เกิดวันที่ 18 กรกฎาคม พ.ศ. 2461 ในครอบครัวชาวเทมบู ซึ่งพูดภาษาโซซา ในหมู่บ้านเล็ก ๆ ทางฟากตะวันออกของแหลมเคปของแอฟริกาใต้ เดิมมีชื่อว่า มาดิบา ต่อมาครูในโรงเรียนได้ตั้งชื่อภาษาอังกฤษให้เขาว่า แมนเดลา
ต่อมาพ่อของเขาซึ่งเป็นที่ปรึกษาของตระกูลผู้ปกครองชาวเทมบู ได้เสียชีวิตขณะที่เขามีอายุได้ 9 ขวบ เขาจึงได้รับการชุบเลี้ยงจากรักษาการผู้สำเร็จราชการเมืองเทมบู จนกระทั่งในปี พ.ศ. 2484 เมื่อมีอายุ 23 ปี เนลสัน แมนเดลา ได้หนีจากการถูกจัดให้แต่งงานแบบคลุมถุงชน หลบไปอยู่ที่เมืองโจฮันเนสเบิร์ก ก่อนจะเข้าเรียนกฎหมายที่มหาวิทยาลัยวิทส์วอเทอแรนด์ ซึ่งนักศึกษาส่วนใหญ่เป็นชาวแอฟริกัน และที่นี่ทำให้เขาได้พบเจอผู้คนจากทุกเชื้อชาติ ได้รับความคิดแบบเสรีนิยม และความคิดต่อสู้เพื่อชาวแอฟริกัน ได้เรียนรู้เกี่ยวกับการเหยียดผิว การถูกกระทำแบบสองมาตรฐาน ซึ่งผลักดันให้เขากลายเป็นนักเคลื่อนไหวทางการเมือง
โดยในปี พ.ศ. 2486 เขาได้เข้าเป็นสมาชิกพรรคสภาแห่งชาติแอฟริกัน หรือเอเอ็นซี และต่อมาได้ร่วมก่อตั้งสันนิบาตยุวชนเอเอ็นซี อีกทั้งเขาได้ร่วมกับเพื่อน โอลิเวอร์ แทมโบ ก่อตั้งสำนักงานกฎหมายในเมืองโจฮันเนสเบิร์กในปี พ.ศ. 2495 รณรงค์ต่อต้านระบอบปกครองที่เหยียดผิวของพรรคคนผิวขาว ที่กดขี่ชาวผิวดำซึ่งเป็นคนส่วนใหญ่ จนทำให้ในปีพ.ศ. 2499 แมนเดลาถูกแจ้งข้อหากบฏพร้อมกับนักเคลื่อนไหวอีก 155 คน แต่อัยการสั่งไม่ฟ้องเขาหลังสอบสวนอยู่นาน 4 ปี
ต่อมาได้มีการออกกฎหมาย Pass Laws ฉบับใหม่ซึ่งจำกัดเขตอยู่อาศัยและทำมาหากินของคนผิวดำ ทำให้กระแสต่อต้านการเหยียดผิวได้ขยายตัวไปทั่วแอฟริกาใต้ ขณะที่พรรคเอเอ็นซีก็ถูกประกาศให้เป็นกลุ่มเถื่อนในปี พ.ศ. 2503 ทำให้ เนลสัน แมนเดลาต้องหลบลงใต้ดิน อย่างไรก็ดี กระแสการต่อต้านลัทธิเหยียดผิวได้รุนแรงขึ้นจนถึงที่สุดเมื่อตำรวจได้สังหารหมู่ชาวผิวดำ 69 คนในเมืองชาร์ปวิลล์ในปีเดียวกัน