Kaple sv. Josefa na bývalém hřbitově je postavena v empírovém slohu. Ve štítu je vsazen plastický kovový erb Lusignanů. Kaple současně sloužila jako hrobka pro majitele ivanovického panství markýzi Františku Josefovi z Lusignan a jeho manželce Jeně Nepomuceně. Oba jsou pohřbeni v hrobce pod kaplí. Podle dochovaných svědectví to prý byli páni dobrotivý a nejlepší ze všech co Ivanovice měly. V knize Paměti města Ivanovic na Hané František Hladký uvádí:
Hrabě (markýz) František Josef z Lusignan byl francouzský šlechtic, jenž za hrůzovlády Robespierovy ušel z Francie do Rakouska a od císaře Františka přijat byl do vojska rakouského, v němž měl hodnost maršála.
V roce 1824 tato kaple nahradila původní kapli, vystavěnou po zřízení hřbitova "Za branou" v roce 1662. Byla zasvěcena také sv. Josefovi. Podoba této kaple je vidět na votivním obrazu z roku 1799, který je umístěný v chrámu Nanebevzetí Panny Marie ve Křtinách. Obraz byl darován křtinskému kostelu spolu se slibem každoročního putování do Křtin, aby bylo město uchráněno od požárů, které v 18. století v Ivanovicích řádily.
Kaple byla několikrát opravována. Za 2. světové války, při bombardování sladovny v r. 1945, byla kaple značně poškozena, ale opravy se dočkala teprve v roce 1967, současně s úpravou zrušeného hřbitova na park.
Další nákladné opravy se kaple dočkala v roce 2021. Po opavě nyní kaple slouží jako lapidárium pro restaurované originální sochy ze sousoší sv. Floriána na Palackého náměstí.
Zdroj: Fr. Hladký "Paměti města Ivanovic na Hané" (1929)
Emil Palásek "Ivanovice na Hané - Z historie k současnosti"