Vanaf 1 mei 1889 huurde Vincent een pand met geel gepleisterde muren aan het Place Lam­­­­artine in Arles voor 15 francs per maand. Per 1 september gebruikte hij het niet alleen als atelier, maar woonde hij er ook. Hij noemde deze woning het 'Gele Huis' en wilde het rijkelijk decoreren met schilderijen.

Vincent wilde er een 'atelier van het zuiden' van maken waar kunstenaars samen konden leven en werken. Hij had behoefte aan gezelschap en een klankbord en bovendien was het economischer om met meerderen samen te wonen. Hij liet met geld van zijn broer Theo nieuwe meubels maken (twee bedden, stoelen en een tafel) en het huis aansluiten op de gasleidingen, zodat hij ook ’s avonds en in de winter bij gaslicht zou kunnen werken. Hij maakte schilderijen voor het decoratieprogramma van het huis. Onderdeel daarvan vormden onder andere vier versies van zijn zonnebloemenschilderijen, Ingang tot de publieke tuin, De postkoets naar Tarascon, Het nachtcafé, Het Gele Huis (‘De straat’), Sterrennacht boven de Rhône en De brug van Trinquetaille.

Op de benedenverdieping van het 'Gele Huis' bevonden zich de eenvoudige atelierruimte en een keuken. Boven waren nog twee kamers: een slaapkamer voor Vincent en een logeerkamer voor kunstenaars die hij wilde ontvangen in zijn 'atelier van het zuiden'.

Al snel rees het idee om Paul Gauguin in Arles uit te nodigen, die Vincent in Parijs had leren kennen. Op 23 oktober arriveerde Gauguin. In eerste instantie ging het samenleven en -werken goed, maar al snel ontstonden er spanningen door hun beider karakters en hun uiteenlopende ideeën over kunst. Op 23 december liep de spanning zo hoog op dat Vincent in een vlaag van waanzin een stuk van zijn oor sneed en dat vervolgens naar een prostituee bracht. Gauguin vertrok 25 december naar Parijs. Vincent werd opgenomen in het ziekenhuis en mocht begin januari weer naar huis. Maar de psychische inzinkingen herhaalden zich in februari. De buurtbewoners waren inmiddels in opstand gekomen: men vond Vincent een bedreiging en wilde dat hij werd opgenomen in een inrichting. Dat gebeurde niet, maar hij ging wel opnieuw naar het ziekenhuis van Arles. Tijdens deze derde opname schreef Vincent zijn broer:

“'Ik schrijf je bij mijn volle verstand en niet als een gek, maar als de broer die je kent. Hier volgt de waarheid: een aantal mensen hier hebben aan de burgemeester [...] een verzoekschrift gericht (met meer dan 80 handtekeningen!) waarin ik wordt omschreven als een man die niet in vrijheid zou mogen leven of zoiets.” Lees de hele brief

Vincent besloot om uit het ‘Gele Huis’ te vertrekken: zijn geestesziekte had roet in het eten gegooid om een atelier van het zuiden op te richten. Toen hij op 30 april schilderijen inpakte om naar Theo te versturen, kwam hij erachter dat een aantal werken vochtig was geworden door een overstroming, waaronder De Slaapkamer, waar hij zo tevreden mee was. Hij schreef zijn broer teleurgesteld:

“[..] niet alleen het atelier ter ziele, maar zelfs de studies die een herinnering daaraan geweest zouden zijn, vernield.” Lees de hele brief

Op 8 mei vertrok Vincent uit Arles naar Saint-Rémy waar hij zich vrijwillig liet opnemen in de inrichting Saint-Paul-de-Mausole.