Naast de oude kerktoren van Nuenen bevond zich een begraafplaats die Vincent graag tekende en schilderde. Een aantal studies mislukten, maar over het schilderij Oude kerktoren van Nuenen was hij wél tevreden; dit werk stuurde hij in juni 1885 op naar zijn broer Theo die toen in Parijs woonde en daar Vincents werk onder de aandacht van kunstkenners bracht:

“Ik heb eenige details weggelaten – ik heb willen zeggen hoe die ruine aantoont aldaar sedert eeuwen de boeren ter ruste worden gelegd in de akkers zelve, welke zij bij hun leven doorwroeten – ik heb willen zeggen hoe doodeenvoudig het sterven & begraven gaat, doodleuk als ’t afvallen van ’t herfstblad – niets dan een beetje aard omgewoeld – een houten kruisje. De akkers er om heen – zij maken waar ’t gras van ’t kerhof eindigt, over ’t muurtje een laatste lijntje tegen den horizon – als een horizon van een zee. En nu zegt die ruine tot mij hoe een geloof en godsdienst vermolmde, al was ze hecht gegrondvest – hoe echter het leven & sterven der boertjes al mee ’t zelfde is en blijft, gelijkmatig uitspruiten en verwelken als ’t gras en de bloempjes die daar wassen op diens kerhofsgrond.” Lees de hele brief 

Vincents vader overleed op 27 maart 1885 plotseling aan een hartaanval. Hij werd op maandag 30 maart begraven op de begraafplaats. 

Vincents vader was sinds augustus 1882 dominee in de Hervormde Kerk in Nuenen, een gemeente die destijds circa honderd leden telde. Toen Vincent in Nuenen woonde, schilderde hij in februari 1884 het kerkje speciaal voor zijn moeder die op dat moment op bed lag omdat zij haar dijbeen had gebroken. In de herfst van 1885 nam Vincent het schilderij Het uitgaan van de Hervormde Kerk te Nuenen vermoedelijk nog eens onder handen en voegde toen de kerkgangers toe.

Vermoedelijk bezocht Vincent nauwelijks of geen diensten in het kerkje, want hij had het christelijke geloof inmiddels al enkele jaren de rug toegekeerd en de verhouding met zijn vader was niet goed.

Naast het kerkje waar Vincents vader Theodoreus ‘Dorus’ van Gogh dominee was, staat een klein huisje dat in 1862/63 op aanraden van Vincents vader werd aangekocht door de Nederlandse Hervormde gemeente van Zundert. De woning werd in gebruik genomen als kosterswoning voor de kerk. Vincents vader zamelde geld in en droeg zelf een bedrag van tien gulden bij. 

De pastorie was de thuisbasis voor familie Van Gogh. Vincent groeide samen met zijn broertjes en zusjes Anna, Theo, Elisabeth, Willemien en Cor op in de pastorie midden in het dorpje Zundert waar zijn vader Theodorus ‘Dorus’ van Gogh dominee was van de Nederlandse Hervormde kerk. Volgens de herinneringen van de dienstmeid was Vincent de minst aardige van het stel. Ze noemde hem een ‘oarige’, wat een ‘rare’ betekent in het Brabants. In huis speelde cultuur een belangrijke rol: er hingen prenten naar kunstwerken, de kinderen kregen muziekles, er stond een piano, er werd voorgelezen. De kinderen kregen een rijke opvoeding die zijn vruchten afwierp in hun latere levens. Vincent had jaren later eindeloos veel interesse in kunst en literatuur en deelde dat in zijn brieven met familieleden. 

Uit familieoverleveringen komt het beeld naar voren dat in de pastorie een gemoedelijk leven werd geleid. Achter het huis was aanvankelijk een moestuin, maar de Van Goghs verplaatsten die naar een stukje land vlak naast de begraafplaats bij de kerk. In de achtertuin werd een siertuin aangelegd met bloemen, struiken en fruitbomen, geiten gaven melk en er was een hond. De kinderen speelden voornamelijk in de tuin, waar Vincent bijvoorbeeld zandkastelen maakte met zijn broertje Theo. Toen Vincent jaren later onderwijzer was in Ramsgate, haalde hij die herinnering op:

“Wij gaan dikwijls naar het strand; dezen morgen hielp ik daar de jongens om eene vesting van zand te bouwen zooals wij wel te Zundert in den tuin maakten.” Lees de hele brief

Vincent hield van zwerftochten rondom het huis, door de velden rondom Zundert. De basis lijkt daar gelegd te zijn voor een levenslange verbondenheid met de natuur en een passie voor eenzame wandelingen.

Vincent ontving tussen 1862 en 1864 mogelijk thuisonderwijs van de gouvernante Anna Birnie die daarin werd ondersteund door Dorus van Gogh. Maar blijkbaar was er toch het verlangen om Vincent op een andere plek te onderwijzen. Vincent verliet de pastorie voor het eerst voor lange tijd toen hij in het najaar van 1864 naar de kostschool in Zevenbergen moest en daarna naar de HBS in Tilburg ging. Hij kwam uiteindelijk in 1868 weer thuis, om nog anderhalf jaar in de pastorie te wonen. Daarna vertrok hij naar Den Haag voor zijn eerste baan.