C’est entre juillet et octobre 1904 que saint frère André fit construire avec l’aide de son confrère le frère Abundius Piché et de quelques amis laïcs la première chapelle. Cette chapelle qui était en fait un petit oratoire devait permettre aux fidèles de venir prier saint Joseph sur les flancs du Mont-Royal. La chapelle de bois construite très simplement ne mesurait que 4,50 m (15 pieds) sur 5,50 m (18 pieds). Deux grandes portes de noyer s’ouvraient sur le sanctuaire. Sur le devant une balustrade mobile permettait aux fidèles de venir communier. La messe y était alors célébrée qu’à l’extérieur et la chapelle n’était ouverte que pendant la période estivale. La chapelle fut inaugurée et bénite le 19 octobre 1904. En 1908, on décida d’agrandir et de chauffer la chapelle. Cet agrandissement était rendu nécessaire étant donnée l’augmentation rapide de la renommée du frère André, de la multiplication des récits de guérisons et de l’affluence des pèlerins. Enfin en 1910, on agrandit pour une troisième fois la chapelle on y ajoute la nef actuelle, la chambre de frère André et le clocher. C’est à cette époque que l’on donne à la chapelle son aspect extérieur que l’on peut voir encore aujourd’hui.