Die Gipsstraße, vormals Gipsgasse, benannt nach einer in der Hausnummer 18 gelegenen Gipsbrennerei, gehört zu den ältesten Straßen der Spandauer Vorstadt.

In der Gipsstraße 3, dem heutigen Sitz der Kunststiftung Poll, befand sich das erste katholische Altenpflegeheims Berlins, das 1780 gegründet wurde. Hier wurden arme und gebrechliche Gemeindemitglieder untergebracht und versorgt, konnten jedoch keine medizinische Versorgung erhalten.

Nach dem Bau des St. Hedwig-Krankenhauses in der Großen Hamburger Straße wurde das Alters- und Pflegeheim in der Gipsstraße 3 nicht mehr benötigt und ging an die jüdische Gemeinde, die hier 1891 den „Ersten Israelitischen Volkskindergarten und Hort“ einrichtete und 1913 das Gebäude-Ensemble durch einen Klassentrakt in Kappenbauweise ergänzte.

Der Kindergarten bot 164 Kindern Platz für eine Tagesunterkunft. Bis 1942 kamen die Kinder aus der Umgebung, meist aus dem ärmeren Teil der Spandauer Vorstadt hierher, am Ende auch Kinder und Jugendliche, deren Eltern verhaftet oder deportiert worden waren. Nachdem 1942 im nationalsozialistischen Deutschland alle jüdischen Tagesstätten und Kinderheime geschlossen worden waren, wurde die Gipsstraße 3 in eines der berüchtigten Sammellager für Kinder umgewandelt. Im Herbst 1942 wurden alle Kinder aus der Gipstraße 3 nach Auschwitz deportiert.

Im Juni 1940 musste das Eigentum am Grundstück Gipsstraße 3 auf die „Reichsvereinigung der Juden in Deutschland“ und im Juni 1942 an die „Nationalsozialistische Volkswohlfahrt e. V.“ übertragen werden. Über die Nutzung in der Endphase des 2. Weltkrieges ist nichts bekannt.

Noch vor der 1950 erfolgten Überführung des Grundstücks in das Eigentum des Volkes wurde 1948 in der Gipsstraße 3 die Musikschule des Stadtbezirks Mitte eingerichtet, die zu den drei ältesten Einrichtungen ihrer Art im Ostteil Berlins gehört.

1996 wurde das Grundstück an die Conference on Jewish Material Claims against Germany, Inc. New York (USA), restituiert, von der es die GbR Gipsstraße 3 im Jahre 1997 erwarb und nach Entwürfen des Architekten Jürgen Pleuser zu einem Kunst-, Verlags- und Atelierhaus ausbauen ließ. Im Juni 1998 wurde die im Vorjahr auf der documenta X in Kassel gezeigte Arbeit „KINO“ des Künstlers Peter Friedl als permanente Installation auf dem im Hof befindlichen Heizhaus montiert. Als wichtiges Beispiel in der DDR entstandener Bildhauerkunst der 50er Jahre wurde die Skulptur „Verhör in Algerien“ von Genni / Jenny Wiegmann-Mucchi (1895-1969) im Hof aufgestellt.