1888年2月、ファン・ゴッホは、芸術家、とりわけゴーギャンとの共同生活を夢見てアルルにやってきました。
南仏の自然は、「デルフトのファン・デル・メール[フェルメール]の絵のなかの、空色と黄色の組み合わせのように柔らかで魅力的だ」と言わせるほど、彼に強烈な印象を与えました。
黄色い家は、そのアルルで、共同生活のために借りた家。
フェルメールを想い起こさせた、青と黄色のコントラストが、この絵にはそのまま表現されています。
ファン・ゴッホ曰く、「このモティーフは難物だよ!だからこそそいつを克服したいんだ。」
とのことです。