1954 年富特万格勒谢世。谁作为他的继任者成了热门话题。在所有候选人中，卡拉扬的位置最有利。汉斯·克纳佩茨布什无意担任终身职务；埃里希·克莱伯因为曾在柏林“苏区”工作过而使人们对他的兴趣锐减；时任汉堡爱乐指挥和拜鲁伊特首席指挥的约瑟夫·凯尔贝特（ Josef Keilberth ）又因年纪太大而难于被列作认真考虑的对象。

    还有一个人不得不提。 1945 年，一个名叫列奥·博查德（ Leo Borchard ）的人承担了重建柏林爱乐的重任。他死后，一个名叫塞尔吉乌·切利比达凯（ Sergiu Celibidache ）的一流指挥接手领导乐团，直到 1952 年富特万格勒返回为止。切利比达凯是罗马尼亚人，是同卡拉扬竞争这个职位的强劲对手，也只有他才在才干和吸引卖座率两方面都足可以与卡拉扬匹敌。但他也太过轻率，竟在海德堡的富特万格勒墓前语出不敬，说富特万格勒死得及时，因为他实际上丧失了听力。富特万格勒遵医嘱曾服用麻醉药物，确实影响了听力，但在同行相妒的音乐圈，切利比达凯的言辞难免对他产生不利的影响。何况卡拉扬占国籍之利，又有维也纳、柏林、萨尔茨堡的三重政治根基，加上 1955 年访美演出美方主办者的支持，使他终于得到了他期盼已久的这份工作。

    卡拉扬说，自从他 1938 年 4 月 9 日首次指挥柏林爱乐那一刻起，他就恨不得它成为供他指挥的乐团。他自小长大就听的是一流水准的维也纳交响乐团的演奏，它的高水准乐音使他树立了自己所要追求的标准。后来，当他作为一名年轻指挥在乐坛起步时，指挥的是学校乐队，其后是德国各小城镇的剧院的小乐团以至小乐队，竭尽自己的全力去干。那是一条好的、或者说是最好的学习途径，但是，站在指挥台上他总不满意，脑海里回响着他所追求的理想的乐音。后来指挥柏林爱乐，他才终于圆了自己的梦，找到了由汉斯·冯·彪罗、阿图尔·尼基什和富特万格勒等著名指挥家所创造的、比他梦想的水准还更高的乐音。

    而他独踞柏林爱乐的雄心则过了将近二十年才变成现实。那是动乱的、前景难卜的十多年。一来富特万格勒对迅速崛起的卡拉扬嫉妒得要命，除偶尔一点机会外，老人完全不让卡拉扬染指柏林爱乐。再则是由于第二次世界大战，纳粹政治给欧洲音乐和艺术带来的浩劫，使音乐、艺术乃至整个文明生活几近停顿，就算说它一息尚存好了。卡拉扬下赌注似地把自己绑在希特勒的战车上，差点儿毁了他不停追求的艺术生涯。好在耐心是卡拉扬的最大优势之一。他谈及指挥家的教养，认为天资、勤学和苦干精神都是事业的必备条件，并得出结论说“现实生活中，极多的人都没有毅力坚持、学习，还有等待、等待、再等待……”

    卡拉扬的耐心得到了回报。 1954 年 11 月 30 日傍晚，他和安德烈·冯·马唐尼住进罗马的摄政饭店，换罢衣服出去用餐。马唐尼离开餐厅去买了份报纸，只见头版上赫然一则讣告：富特万格勒因患肺炎长期医治无效逝世，享年 68 岁。当晚从维也纳发来一份电报，没有署名：“国王驾崩。国王陛下万岁。”

    忙忙碌碌的联络交涉开始了。“电话忙得不可开交”，卡拉扬回忆说。

    卡拉扬说，柏林爱乐的经理在富特万格勒去世前就与他接触。“当然，他对富特万格勒是非常忠心的，但鉴于富特万格勒行将就木，他不能不未雨绸缪。万一等到最后一刻而我又不能应聘，那他将永远无法原谅自己。所以他对我说：‘万一发生了什么事，你愿不愿意来我们乐团？’我答应了他，但嘱咐他不要声张。”

    “事实上，在富特万格勒去世的当晚和次日凌晨两点，我曾接到哥伦比亚演出公司的安德烈·梅顿斯从纽约打来的电话，他想让我知道，富特万格勒同哥伦比亚公司签有率团访美演出的合同。他说，若要继续履行合同，除非我接替指挥，否则他将宣布该合同取消。我的答复是，只有在柏林爱乐指定我为富特万格勒的继任的前提下我才能同意。有一点是明确的：我不能以试用的身份，而只能以乐团未来指挥的身份赴美。”

    “他们说：‘那当然，那当然。’于是我就去指挥乐团排练了。两个星期过去了，他们的许诺显得有点像是谎言。柏林参议院的成员又没聚齐。我落入了陷阱。我心急火燎地想得到这个职位，可他们说要看我访美演出的结果再做定夺。要是我受到政治上的强烈抵制，就可能得不到这份工作。所以我给柏林市长鲁伊特挂了个电话。他并不能任命我，任命权在参院，但我向市长建议就访美一事开个记者招待会，请他在招待会上当中向我提问，问我访美归来后会不会接手乐团。我们照这样办了，他问我时，我回答非常乐意。有时候你不得不豁出一切冒险。”

    “还有，我必须让自己从斯卡拉歌剧院的合约中脱身。我们原已定好要演出瓦格纳的《指环》的。要得到柏林爱乐，这头就得放弃。于是我去见了总监。我告诉他只要他说声‘不’，我就绝不再提此事。但我也对他说；‘如果你放我，我会感激不尽。不让走，这事就算忘掉，我仍将信守我们的合同。’他说这是终身难逢的机会，于是同意放了我。”

    在美演出期间，乐团选举卡拉扬为他们的新音乐总监。返回柏林后，这一任命得到了参院的批准。接下来便是合同之争。“我告诉他们我必须拥有选择经理的权利，”卡拉扬说。“他们说哪怕是富特万格勒也不曾享有此权。我知道他们是在撒谎，因为我得到了一份富特万格勒的合同副本。我还对他们讲，合同必须写明我这音乐总监是终身之职。除非我知道自己不会被撤换，我才可能全副热情地投入工作。我还说，要是他们觉得签终身合同有难处，写成 99 年也成。这对他们来说是破天荒，他们从来还没有签过什么‘终身合同’。磨了 12 年合同一事才最终达成协议，所以在乐团工作头 12 年我根本就没有合同。我等待着，直到我的要求得以实现。”

    于是，卡拉扬同柏林爱乐间的“恋爱”大功告成。争论取代了信誓旦旦，忠贞和互敬让位于怀疑和不信任，这就是音乐圈内的事务关系。但最重要的是，这“婚姻”美满地持续了下来。算起来，卡拉扬同柏林爱乐已联手度过了 28 个辉煌的春秋。任何一位收集“世界之最前三名”的人，都会把它收入自己的记录。卡拉扬与柏林爱乐两者的名字已融为一体。伟大的小提琴家梅纽因在他的《未完的旅程》中写道：‘有些指挥家，他们自己的名字与乐团的名字已成为同义语，他们在创造作品的同时，也创造了这一珠联璧合的奇观……卡拉扬同他的柏林爱乐就是如此。’有人曾问小泽征尔他认为卡拉扬对音乐的最伟大的贡献是什么，小泽征尔不假思索地回答：“他和柏林爱乐的关系；如此水乳交融的结合令人惊叹——用了他整整 25 年。”

    这一奇观的又一反映是团员的收入，柏林爱乐团员们的报酬比全世界任何乐团都高。他们的工资本来就相当可观（比德国其他乐团的团员高出 10% 到 15% ），加上其他收入还要翻上一番：他们灌唱片、上电视、拍电影、参加特别演出（如复活节音乐节，报酬甚丰）、教课、演出独奏等不一而足；还参加各下属音乐组织，以他们响当当的名气为其增添份量。仅柏林爱乐内部就有 13 个组织：三重奏组、四重奏组、室内乐团、铜管乐队、“十二人大提琴组”，甚至还有低音提琴组。由于冠有“柏林爱乐”的头衔，这些组、团演出的票房情况都非常之好。其中许多还灌录了唱片。柏林爱乐十二人大提琴组还于 1983 年出了一张《披头士歌曲选》，这是他们发行的第五张唱片。他们跟别的演出小组一样，生意应接不暇。正是这些组织构成了卡拉扬与乐团之间存在的问题的实质性部分。不过也并不总是那么严重。 1977 年，梅纽因写道：“卡拉扬护着他的团员，确保他们有丰厚的报酬和高品质的乐器，鼓励他们各自组织室内乐演出，以各种各样的方式鼓励他们的士气。”