日影茶屋はかつて「日蔭茶屋」と書き、江戸時代から続く老舗茶屋で知られています。明治初期には「茶漬茶屋」の記録がありますが、明治9年に「旅泊渡世鑑札願」が出され、この頃から宿泊客も扱うようになったようです。

大正10年頃に現在ある房州石の石蔵を建造し、大正11年には暴風雨の影響で建物の一部を移築して、このときに内蔵の持ち上げ工事や帳場、板場、奥棟、店舗の改築工事を行っています。大正12年春には帳場ができて客室棟も2階建てとなり、このときに車廻しが付けられています。

昭和9年には大玄関と大玄関から左手の客室、風呂場、洗面所を取り壊し、客室の改築が行われた。現在の客室棟天井に残された棟札により、上棟年月日は昭和9年3月13日であることが明らかとなっています。

昭和40年代には大改装工事が行われ、調理場と店舗等がグリルに改修され、大きく雰囲気を変えています。しかし、1階の大広間や2階の客室は旧状をよく残しており、かつての様子をうかがうことができます。

大広間は17畳と14畳の座敷がそれぞれ2組用意され、ふすまを開けると一間続きとなり、大広間として使用することができます。座敷では正面にそれぞれ黒檀の丸太柱を据えた大床が用意されています。座敷と次の間を仕切る欄間は筬欄間（おさらんま）、室内には長押のほかに内法長押が廻されて、違い棚と書院窓を配した床脇を備えています。客室は8畳敷と6畳敷の間の組み合わせによる部屋が4室用意されており、旅館として栄えた様子を伝えています。

明治中期なると葉山は海浜別荘地として栄え、多くの人々に知られるようになり、それに伴って文人・名士も数多く訪れました。その名所旧跡は葉山の各地に残り、多くの逸話を伝えていますが、日影茶屋もまた、文人・名士で賑わいを見せた場所として歴史的に価値の高い建物です。