“五芳斋”得名于清道光年间，创始人姓沈，沈氏膝下生有五个女儿，分别取名玫芳、桂芳、莲芳、荷芳和芝芳，恰好和店里常用的原料在字面上有相通之处，街坊邻居就开玩笑地称他的店叫"五芳斋"。沈氏老板干脆将错就错，正式将店铺取名"五芳斋"。这就是五芳斋名字的由来。