بدأ مانديلا في المعارضة السياسية لنظام الحكم في جنوب إفريقيا الذي كان بيد الأقلية البيضاء، ذلك أن الحكم كان ينكر الحقوق السياسية والاجتماعية والاقتصادية للأغلبية السوداء في جنوب إفريقيا. في 1942 إنضم مانديلا إلى المجلس الإفريقي القومي، الذي كان يدعو للدفاع عن حقوق الأغلبية السوداء في جنوب السنغال. وفي عام 1948، انتصر الحزب القومي في الانتخابات العامة، وكان لهذا الحزب ،الذي يحكم من قبل البيض في جنوب إفريقيا، خطط وسياسات عنصرية، منها سياسات الفصل العنصري، وإدخال تشريعات عنصرية في مؤسسات الدولة. وفي تلك الفترة أصبح مانديلا قائدا لحملات المعارضة والمقاومة.

في عام 1961 أصبح مانديلا رئيسا للجناح العسكري للمجلس الإفريقي القومي. في فبراير 1962 اُعتقل مانديلا وحُكم عليه لمدة 5 سنوات بتهمة السفر الغير قانوني، والتدبير للإضراب. وفي عام 1964 حكم عليه مرة أخرى بتهمة التخطيط لعمل مسلح والخيانة العظمى فحكم عليه بالسجن مدى الحياة. خلال سنوات سجنه الثمانية والعشرين، أصبح النداء بتحرير مانديلا من السجن رمزا لرفض سياسة التمييز العنصري. وفي 10 يونيو 1980 تم نشر رسالة استطاع مانديلا إرسالها للمجلس الإفريقي القومي قال فيها: "إتحدوا! وجهزوا! وحاربوا! إذ ما بين سندان التحرك الشعبي، ومطرقة المقاومة المسلحة، سنسحق الفصل العنصري".