A zenészcsaládban – apja hegedűművész édesanya zongorista volt - született Rosztropovics Szergej Prokofjevvel és Dmitrij Sosztakoviccsal tanult együtt a moszkvai konzervatóriumban, s 1945-ben, egy fiatal zenészek számára kiírt verseny megnyerése után vált ismertté. Nagyságát mutatja, hogy világszerte több mint ötven zeneszerző írt számára darabokat, s élete végéig teltházas koncerttermekben játszott.
Rosztropovics ugyanakkor nem csak zenei tehetsége miatt vált világszerte ismertté. A hatvanas évek végétől nyíltan támogatta a neves szovjet ellenzékit és emberi jogi harcost, Andrej Szaharovot, s emiatt hazájában egymás után zárultak be a fellépési lehetőségek. Nem sokkal az után, hogy Leonyid Brezsnyev akkori kommunista párttitkárnak írt levélben kérte a Szaharov elleni propaganda kampány leállítását, 1974-ben külföldre kényszerült, s 1978-ban megfosztották szovjet állampolgárságától.
A művész, aki az első és utolsó szovjet államfő, Mihail Gorbacsov által kezdeményezett peresztrojka utolsó szakaszában, 1990-ben kapta vissza állampolgárságát, a hetvenes és nyolcvanas években elsősorban Észak-Amerikában koncertezett, ám gyakran megfordult Nyugat-Európa koncerttermeiben is. Rosztropovics ott volt a berlini fal 1989-es lebontásakor, s 1991-ben, amikor a keményvonalas kommunisták puccsot kíséreltek meg Gorbacsov ellen megjelent a parlament moszkvai épületénél, s géppisztolyt fogott a kezébe.
