Twee bestaande Latijnse scholen in Amsterdam werden in 1666 samengevoegd in het oude Aalmoezeniershuis, Singel 451-457.

In 1897 werd het complex verbouwd en kreeg het de omvang van het huidige gebouw. Een aantal jaren geleden werd het opnieuw verbouwd.

Van het oorspronkelijke Aalmoezeniershuis is niet veel meer over, slechts het poortje is herkenbaar verwerkt in de gemoderniseerde gevel.

Twee zonen van John Adams, John Quincy en zijn jongere broer Charles, bezochten de Latijnse School in 1780. Het verblijf was slechts van korte duur. De broers konden er, mede doordat ze geen Nederlands spraken, niet aarden. Toen een leraar één van de kinderen dreigde te kastijden omdat deze naar zijn oordeel niet genoeg zijn best deed, haalde Adams beide jongens van school af. Hij regelde dat ze privé-onderwijs in Leiden kregen en de mogelijkheid om colleges aan de universiteit aldaar te volgen.