Aanvankelijk logeerde Adams met zijn zonen in Amsterdam in een eenvoudig logement bij Madame La Veuve du Henry Schorn aan de Achterburgwal bij de Hoogstraat. Bijna iedere dag probeerde hij van daaruit te bouwen aan een netwerk van Amsterdamse bankiers en kooplieden.

Hij had gemengde gevoelen over de werking van de Nederlandse politiek. Aan zijn minister van Buitenlandse Zaken, John Jay, schreef hij: " I have been in the most curious country among the most incomprehensible people and under the most singular constitution of government in the world". Het eindeloze overleg dat aan iedere beslissing voorafging noemde hij: " The councils of this people are the most inscrutable I ever saw."

Ook voor de Nederlandse patriotten had hij weinig lovende woorden. Hij vond ze niet erg belezen en zeker niet geïnformeerd over de ontwikkelingen in de wereld. Toch vond hij ook dat van alle Europese landen de beste informatie in Nederland was te krijgen.

In oktober 1780 vernam Adams dat Henry Laurens, terwijl hij onderweg was naar Europa, op zee door Britten was aangehouden. Hij had zijn papieren snel over boord had gegooid maar die waren niet snel genoeg gezonken en door de Britten uit zee opgevist. Tussen de papieren zat een ontwerp voor een geheime overeenkomst tussen de VS en Nederland. De vondst van deze stukken bracht Nederland ernstig in verlegenheid en ze zouden de 'casus belli' worden voor een nieuwe oorlog met Groot-Brittannië. Het directe gevolg van de arrestatie van Laurens was dat de verantwoordelijkheid voor het verkrijgen van een lening van tien miljoen Dollar op Adams overging. Hij begreep dat hij nu moest zorgen dat zijn status werd vergroot. Om sommige bankiers de mond te snoeren, er werd geringschattend gesproken over zijn eenvoudige onderkomen bij de weduwe, huurde hij in de zomer van 1781 het pand Keizersgracht 529.

Het huis werd in ongeveer 1760 gebouwd en verkeert aan de buitenkant nog grotendeels in de oorspronkelijke staat. Slechts de achttiende eeuwse schoorstenen zijn van het dak verdwenen (zie tekening Caspar Philips).