Einer der legendärsten Einwohner von Key West war der Schriftsteller Ernest Hemingway (1899-1961), der hier einige seiner schönsten Werke verfasste. Er und seine zweite Frau Pauline verlebten dort in den späten 1920er Jahren manchen Winter und kauften sich 1931 diese elegante Villa aus Korallenstein. In einem Arbeitszimmer über dem Kutschenhaus schrieb er Klassiker wie Death in the Afternoon (Tod am Nachmittag, 1932) und For Whom the Bell Tolls (Wem die Stunde schlägt, 1940).