Das College wurde 1542 von Lord Audley auf dem Gelände eines Benediktinerkollegs gegründet. Hinter dem Zweiten Hof liegt das Pepys Building, in dem die persönliche Bibliothek von Samuel Pepys untergebracht ist. Pepys stiftete seine Büchersammlung und das Manuskript seines in Geheimschrift verfassten Tagebuchs im Jahr 1703 dem College.