Placówka została powołana do życia w 1974 r., jako Muzeum Regionalne w Bieżuniu o typowo etnograficznym profilu. Od roku 1986 przyjęło jako główny kierunek działalności ekspozycję kultury materialnej małego miasteczka z II połowy XIX stulecia i zmieniło nazwę na Muzeum Historii Kultury Materialnej Małego Miasta.

W 1994 roku zostało przemianowane na Muzeum Małego Miasta, którym pozostaje do dnia dzisiejszego. Pierwsza siedziba mieściła się w murowanym budynku przy ul. Zamkowej 2, wybudowanym w 1902 r. z przeznaczeniem na mieszkanie dla bieżuńskich lekarzy: najpierw Stefana Brudnickiego, a następnie Antoniego Wolskiego.
W 1993 r. Muzeum uzyskało stałą siedzibę w odremontowanym, drewnianym budynku dawnego szpitala z 1822 r., ufundowanym przez Konstancję Zamoyską, mieszczącym się przy ul. Stary Rynek 19. W jego wnętrzach odtworzone zostało mieszkanie prowincjonalnego lekarza z przełomu XIX i XX w. z gabinetem lekarskim, jadalnią, sypialnią, salonem oraz kuchnią. Na poddaszu urządzono wystawę stałą Bieżuń i jego mieszkańcy w dawnych latach.
Poza wymienionymi obiektami w skład Muzeum wchodzą także: drewniany budynek z przełomu XIX i XX w. – dom poety Stefana Gołębiowskiego oraz XIX – wieczny drewniany spichlerz. 23 stycznia 2009 r. Muzeum Małego Miasta w Bieżuniu przeszło pod zarząd Samorządu Województwa Mazowieckiego jako oddział zamiejscowy Muzeum Wsi Mazowieckiej w Sierpcu. Od roku 2018 w Muzeum prowadzone są prace budowlano – konserwatorskie, których celem jest przywrócenie funkcji wszystkich obiektów, jako przykład rekonstrukcji pejzażu kulturowego dawnego Bieżunia z charakterystycznymi zabudowaniami oraz wyposażeniem.