Malmin talossa on merkittävä osa museon kokoelmista. Laivanvarustaja ja kauppias Peter Malm rakennutti talon vuosina 1836-1838. Malmin suku oli 1700-luvun loppupuolelta aina 1800-luvun puoliväliin asti aikansa merkittävimpiä kauppiaita ja laivanvarustajia. Malmin talossa voi tutustua kaupungin merenkulun historiaan sekä Malmin kauppahuoneen historiaan. Esillä on ajalle tyypillisiä sisustuksia 1800-luvun loppupuolelta, laivamaalauksia sekä laivojen pienoismalleja.
Malmin talossa on myös näyttely kaupungin historiasta sekä museokauppa. Museokaupan aukioloajat ovat samat kuin museon.