Der Name der Alten Krell’schen Schmiede geht auf den damaligen Schmied und Bauherrn Michael Krell zurück. Im Jahre 1678 ließ er das Gebäude errichten, in dem über drei Jahrzehnte hinweg das Schmiedehandwerk ausgeübt wurde. 1837 übernahm die Schmiede die Familie Niehoff den Betrieb. Sie führte die Schmiede bis 1975 weiter und sorgte zugleich für den Erhalt des historischen Gebäudes.
Nach der Aufgabe des Schmiedebetriebs wurde das Gebäude vollständig geräumt. Zeitweise entstand daher der Eindruck, dass die ehemalige Schmiede dem Verfall überlassen werden könnte. Im Jahr 1985 übernahmen Rudolf und Peter Nüchterlein als ehrenamtliche Denkmalpfleger die Sanierung des Bauwerks.
Um das historische Schmiedehandwerk möglichst authentisch darstellen zu können, bereisten die beiden zahlreiche Schmieden zwischen Ostsee und Thüringen sowie zwischen Harz und Oberlausitz. Dort sammelten sie fachpraktische Hinweise, Kenntnisse über traditionelle Anweisungen und historische Werkzeuge. Mehr als 300 Schmiede beteiligten sich an dem Projekt und vermittelten den beiden Männern wesentliches Fachwissen. Auf dieser Grundlage entstand ein Museum, das die Geschichte des Schmiedehandwerks und seiner handwerklichen Traditionen anschaulich vermittelt.