Das Gebäude wurde im 18. Jh. nach Plänen von William Kent gebaut. Die Anlage umschließt an drei Seiten einen Hof, wo im Winter die Wachablösung stattfindet. Der Mitteltrakt ist von drei Bögen durchbrochen und von einem Uhrturm überragt. Dahinter liegt der riesige Paradeplatz (Horse Guards Parade), wo im Sommer die Wachablösung und die Geburtstagszeremonie der Queen (Trooping the Colour) stattfindet.