La ex conejita entabló una relación con Hugh Hefner, creador de la revista Playboy y quien era mucho mayor que Holly, pues hoy en día cuenta con 90 años de edad. Vivieron juntos de 2001 a 2008, sin embargo, tiempo después, la ex conejita comenzó a hacer declaraciones en las cuales afirmaba que tenía que recurrir al uso de drogas para poder estar con Hugh.Madison sacó a la luz una autobiografía titulada "En la madriguera del conejo: aventuras y desventuras de una conejita Playboy", donde revela que todo dentro de la mansión de Playboy era una pesadilla y que, incluso, pensó en quitarse la vida.