Leiden kreeg net als andere steden in de Middeleeuwen een Latijnse school. Op zo’n school werden jongens uit de betere standen voorbereid op intellectuele en kerkelijke functies. De school in Leiden moet al voor 1324 zijn ontstaan. In dat jaar benoemde Graaf Willem III van Holland namelijk de schoolmeester Andries tot secretaris van zijn dochter Margaretha, die toen trouwde met Lodewijk van Beieren. In zijn plaats stelde hij een zekere Nicolaas aan om les te geven aan de Latijnse school in Leiden.

Het is niet bekend waar de school oorspronkelijk gevestigd was, maar dit zal zeker dichtbij de Pieterskerk en het grafelijke hof (het Gravensteen) zijn geweest. In 1431 verhuisde de school naar een gebouw aan de Lokhorststraat. Dat gebouw werd in 1599 afgebroken en vervangen door de huidige Latijnse School. De nieuwbouw werd ontworpen door de stadsmetselaar Jacob Dircxz den Dubbelden en stadssteenhouwer Claes Cornelisz van Es. Zij gaven het gebouw een voorgevel in moderne renaissancestijl, versierd met zandstenen blokken en banden.

Een van de leerlingen van de school was Rembrandt van Rijn. Waarschijnlijk wilde hij vooral gebruikmaken van de voordelen die leerlingen hadden, zoals vrijstelling van wachtdiensten.

In de negentiende eeuw werd de Latijnse school omgevormd tot het Stedelijk Gymnasium. Die school bleef tot 1883 gevestigd aan de Lokhorststraat. In dat jaar verhuisde het gymnasium naar een nieuw gebouw aan de Doezastraat. Het gebouw aan de Lokhorststraat behield zijn onderwijsfunctie. Het werd onder andere gebruikt als dependance van de jongens-HBS en van MSG, een technische opleiding.

In 1980 kocht de Stichting Diogenes Leiden de Latijnse School voor een symbolisch bedrag van de gemeente Leiden, met als voorwaarde dat Diogenes  het pand grondig zou laten restaureren. Die restauratie vond plaats in de jaren 1980-1982. De architect was Jan Walraad. Het gebouw werd daarna verhuurd aan de Leidse schooladviesdienst en aan een uitgeverij. Het is nu de hoofdvestiging van een internationaal bekend ict-bedrijf, IntelliMagic.