In più la giovane era affetta da sordità da un orecchio e questo la portava a dover mettere particolare attenzione nell’ascoltare il proprio interlocutore che pensava così di essere oggetto di esclusive attenzioni. Il suo magnetismo cominciò a mietere le prime vittime già all’età di diciassette anni: il primo a cadere fu il trentaseienne Gustav Klimt giudicato però dalla famiglia troppo estroso ed eccentrico. Tre anni dopo conobbe ad una cena Gustav Mahler, all’epoca più grande di lei di ventidue anni, e ne rimase subito affascinata, lei che conosceva a memoria le opere di Wagner e che era solita comporre nel tempo libero piccole partiture per musica da camera. Sebbene Mahler mise come condizioni del matrimonio una devozione quasi totale di Alma nei sui confronti e il divieto per lei di dedicarsi alla musica, ella accettò e convolò a nozze del 1902. Otto anni dopo, dopo molti litigi e due bambine, Alma conobbe un bel prussiano di ventisette anni di nome Walter Gropius e ne rimase invaghita, senza però abbandonare il matrimonio. Dal canto suo, Mahler, cercando di tenere con sé la moglie, accettò di andare dallo psicologo per curare le sue nevrosi e gli venne consigliato da un medico amico di famiglia lo psicanalista Sigmund Freud. I suoi sforzi furono vani perché qualche anno dopo morì e la moglie si ritrovò ricca e libera.

Gropius era convinto ora che con la morte del marito i due sarebbero potuti convolare a nozze, ma così non fu e Alma lo allontanò dalla sua vita. L’anno seguente, durante un pranzo di famiglia, conobbe un giovane artista, allievo di Klimt, Oscar Kokoschka: tra i due nacque una passione che presto divenne ossessione da parte dell’artista. All’insaputa di Alma arrivò a chiedere la sua mano e a far uscire le pubblicazioni per il matrimonio; quando la donna lo scoprì scappò e Kokoschka la inseguì pregandola di tornare. Il rapporto si trascinò per qualche tempo tra assurde promesse di matrimonio e la gelosia delirante del pittore: Alma sposerà Walter Gropius e poi lo scrittore Franz Werfel mentre il pittore le rimarrà devoto per tutta la vita arrivando persino a farsi confezionare una bambola a grandezza natura con le sembianze dell’amata.