Am 5. September 1791 teilte Oberhofbaurat Andreas Ludwig Krüger in einem Brief mit, König Friedrich Wilhelm II. habe ihm befohlen, eine Grotte zu bauen. Wie es dem Zeitgeschmack entsprach, sollten künstliche Grotten "... in Ihrer ganzen äußerlichen Anordnung nicht die mindeste Kunst verrathen, sondern ein rohes Werk der Natur zu seyn scheinen ...," (Krünitz, Oekonomisch - technologische Encyklopädie, 20. Teil, 2. Auflage 1789, S. 147) nach Außen eher unauffällig wirken. So wurde die Grotte in einen künstlich aufgeschütteten Hügel hinein gebaut. Der Hügel selbst diente als Aussichtsterrasse mit Ausblich auf die weiten Wasserflächen.
Ursprünglich diente die Muschelgrotte als kühler, versteckter Aufenthaltsort an warmen Sommertagen. Der Zugang von der Ostseite führte zunächst durch einen sich perspektivisch verengenen Gang, an dessen Ende dann das erste Kabinett
umso spektakulärer wirkte. Die Wände des zentralen Saals und der Kabinette schmückten große Spiegel ,farbiges Glas, verschiedenartige Steine, Mineralien, Kristalle sowie echte Muscheln und Muschelimitationen.
Die Muschelgrotte war überraschend schnell - und das für sehr lange Zeit - in Vergessenheit geraten. Bereits während der Regierungszeit von Friedrich Wilhelm III. wurde sie vernachlässigt. 1863 heißt es schlicht: "Von allen Partien der Königlichen Gärten in Potsdam ist wohl diese Grotte am wenigsten bekannt und besucht". Durch Ihren Standort an der Havel, dem ehemaligen "Grenzfluß" nach der Teilung Deutschlands zwischen West-Berlin und Potsdam, lag dieses Baudenkmal schließlich im Grenzstreifen un war dem Verfall preisgegeben. Seit der Wiedervereinigung 1990 konnte durch Erneuerung der Dachkonstruktion der weitere Verfall gestoppt werden.