Последний брак и отношения, о которых ходили слухи
Её четвёртый брак с композитором и дирижёром Джо Буйоном продлился с 1947 по 1961 год. Однако Бейкер была известна своими внебрачными связями как с мужчинами, так и с женщинами. В 1970-х годах, в последние годы своей жизни, она состояла в платонических отношениях с Робертом Брэди.