โบสถ์แห่งนี้เคยเป็นศูนย์รวมของชาวญวน ผู้นับถือศาสนาคริสต์นิกายโรมันคาทอลิก ซึ่งอพยพเข้ามาตั้งถิ่นฐานอยู่ในจังหวัดจันทบุรีเมื่อสมัยกรุงศรีอยุธยา
ก่อนปี พ.ศ. 2255 ชาวญวนผู้นับถือศาสนาคริสต์นิกายโรมันคาทอลิกได้อพยพหนีภัยจากการบีบคั้นการเลือกถือศาสนาในขณะนั้น (ปลายสมัยสมเด็จพระเจ้าท้ายสระ กรุงศรีอยุธยา) มีบาทหลวงเฮ้ตเป็นผู้ดูแลกลุ่มคาทอลิกชาวญวน ซึ่งขณะนั้นมีเพียง 130 คน
ในปี พ.ศ. 2255 บาทหลวงและสัตบุรุษได้ร่วมมือร่วมใจกันสร้างวัดน้อยหลังแรกบนฝั่งตะวันตกของแม่น้ำจันทบุรี ระหว่างปี พ.ศ. 2237 - 2295 สมัยบาทหลวงกาเบรียลเป็นเจ้าอาวาสนั้นได้เกิดเหตุการณ์ไม่สงบ เนื่องจากทางการได้จับชาวคาทอลิกไปอยู่ที่อยุธยา บางส่วนหลบหนีจากการจับกุมเข้าไปอยู่ในป่า วัดหลังที่ 1 จึงถูกทอดทิ้งให้รกร้างว่างเปล่า
ปี พ.ศ. 2295 สมัยของบาทหลวงเดอกัวนาเป็นเจ้าอาวาส ได้รวบรวมชาวคาทอลิกที่กระจัดกระจายให้มาอยู่รวมกันที่เดิม และรวมตัวกันสร้างวัดหลังที่ 2 ขึ้นด้วยไม้กระดานเก่าๆ ประกอบด้วยไม้ไผ่ หลังคามุงด้วยใบตาล
ปี พ.ศ. 2377 บาทหลวงมัทเทียโดและบาทหลวงเคลมังโซ่ ได้ช่วยกันสร้างวัดหลังที่ 3 ขึ้นที่ฝั่งซ้าย โดยย้ายข้ามมาอยู่ฝั่งตะวันออกของแม่น้ำจันทบุรี ซึ่งเป็นบริเวณที่วัดปัจจุบันตั้งอยู่ วัดนี้เป็นเพียงวัดเล็กๆ สร้างด้วยไม้กระดานเก่าๆ และไม้ไผ่ ในขณะนั้นมีสัตบุรุษประมาณ 1,000 คน
ปี พ.ศ. 2381 บาทหลวงรังแฟงได้รับการแต่งตั้งเป็นเจ้าอาวาส เป็นระยะเวลาที่ชุมชนคาทอลิกเติบโตขึ้นมาก จึงได้เริ่มก่อสร้างวัดหลังที่ 4 ขึ้น โดยมีสัตบุรุษได้ร่วมแรงร่วมใจและร่วมบริจาคทรัพย์ วัดหลังนี้มีลักษณะถาวรมากขึ้น มีการใช้อิฐ หิน และปูนในการก่อสร้างในขณะนั้นมีสัตบุรุษประมาณ 1,500 คน
ปี พ.ศ. 2443 บาทหลวงเปรีกาล ชาวฝรั่งเศส เป็นเจ้าอาวาส ได้สร้างวัดหลังที่ 5 ซึ่งเป็นวัดหลังปัจจุบัน โดยใช้สถาปัตยกรรมแบบตะวันตกที่เรียกว่า ศิลปะโกธิค มียอดแหลมของหอทั้งสองข้าง แต่เมื่อ พ.ศ. 2483 ไทยเกิดมีกรณีพิพาทอินโดจีน (สมัยสงครามโลกครั้งที่ 2) จึงต้องเอาหลังคายอดแหลมของหอทั้งสองออก เพื่อไม่ให้เป็นเป้าหมายในการโจมตีทางอากาศ ต่อมาเนื่องในโอกาสครบรอบ 100 ปี ได้ทำพิธียกยอดแหลมมาตั้งไว้เหมือนเดิมเมื่อวันที่ 11 ธันวาคม พ.ศ. 2552 พร้อมทั้งมีการบูรณะโบสถ์ และตกแต่งภายในอย่างสวยงาม