l961年6月曼德拉创建非国大军事组织“民族之矛”，任总司令。1962年8月，曼德拉被捕入狱，当时他年仅43岁，南非政府以“煽动”罪和“非法越境”罪判处他5年监禁。1964年6月，他又被指控犯有“企图以暴力推翻政府”，改判为无期徒刑。在狱中长达27个春秋，他备受迫害和折磨，但始终未改变反对种族主义、建立一个平等、自由的新南非的坚强信念。
1983年和1985年，曼德拉曾先后荣获联合国教科文组织授予的“西蒙·博利瓦国际和第三世界社会经济研究基金会颁发的“第三世界奖”。
1990年2月11日，南非当局在国内外舆论压力下，被迫宣布无条件释放曼德拉。同年3月，他被非国大全国执委任命为副主席、代行主席职务，1991年7月当选为主席。l994年4月，非国大在南非首次不分种族的大选中获胜。同年5月，曼德拉成为南非第一位黑人总统。l997年l2月，曼德拉辞去非国大主席一职，并表示不再参加l999年6月的总统竞选。1999年6月正式去职。