اعتنى جده لأبيه بتربيته واهتم به اهتماماً بالغاً بعد وفاة والده وهو صغير.
ثم تولى إمارة الأندلس بعد وفاة جده سنة 300 هـ وكان عمره 22 سنة، وقد تخلى كل أعمامه عن حقهم في الإمارة فكانوا أول من بايعوه بها بسبب سوء أحوال الأندلس وتمزقها, ولما كان يحيط بها من أخطار فقد كانت الأندلس مضطربة ومليئة بالمخالفين ونيران المتغلبين.
خلف جده عبد الله بعهد منه، حيث أن عمه المطرف قام بقتل أبيه محمد ظلماً، لأنه كان المرشح لولاية العهد، فأراد أن يزيحه ليظفر بها ولما علم جده عبد الله بما لحق بأبيه من ظلم جعل ولاية العهد إليه، وتولى تربيته ونال نصيباً كبيراً من رعايته، وكان جزاء عمه القتل قصاصاً لقتل أخيه، ونال جزاءه على يد أبيه عبد الله بعد أن تأكد من براءة القتيل محمد مما عزاه إليه.
استلم عبد الرحمن الحكم وليس له سلطة إلا على قرطبة فتعلقت آمال الناس بهذا الأمير الشاب الذي تمكّن من إخماد تلك النيران، وخاض غمار حروب طويلة، فأخضع العصاة وصفا له الملك، وجدّد دولة الأندلس وأخضع حكامها لسلطانه.