วัดเพชรสมุทรวรวิหาร เดิมชื่อ "วัดศรีจำปา" สร้างขึ้นในราวรัชสมัยพระเจ้าปราสาททองแห่งกรุงศรีอยุธยา ตามตำนานเล่าว่า ในปี พ.ศ.2307 ชาวบ้านแหลมในเขตเมืองเพชรบุรีอพยพหนีพม่ามาตั้งบ้านเรือนอยู่บริเวณตำบลแม่กลองเหนือวัดศรีจำปา และเรียกหมู่บ้านนี้ว่า "บ้านแหลม" ตามชื่อหมู่บ้านเดิมของตน ชาวบ้านแหลมได้ช่วยกันบูรณะวัดศรีจำปาและเรียกวัดนี้ใหม่ว่า "วัดบ้านแหลม" ต่อมาวัดบ้านแหลมได้ยกฐานะขึ้นเป็นอารามหลวงชั้นวรวิหาร ได้รับพระราชทานนามว่า "วัดเพชรสมุทรวรวิหาร"

หลวงพ่อบ้านแหลม
พระพุทธรูปคู่บ้านคู่เมืองของจังหวัดสมุทรสงคราม ซึ่งมีความศักดิ์สิทธิ์เป็นที่เคารพเลื่อมใสของคนทั่วไป เป็นพระพุทธรูปยืนอุ้มบาตรขนาดเท่าคนจริง สูงประมาณ 167 เซนติเมตร ตามตำนานเล่าว่า ชาวประมงบ้านแหลมออกไปลากอวนในอ่าวแม่กลอง ได้พระพุทธรูปติดมา 2 องค์ องค์หนึ่งเป็นพระพุทธรูปนั่ง อีกองค์หนึ่งเป็นพระพุทธรูปยืน พระพุทธรูปนั่งได้อัญเชิญไปประดิษฐานไว้ที่วัดเขาตะเครา จังหวัดเพชรบุรี ส่วนพระพุทธรูปยืนนำมาประดิษฐานไว้ที่วัดบ้านแหลม เรียกกันว่า "หลวงพ่อบ้านแหลม"
ตอนที่ชาวประมงพบในอ่าวแม่กลองบาตรนั้นสูญหายไปในทะเล สมเด็จเจ้าฟ้า กรมพระยาภาณุพันธุวงศ์วรเดช ที่ได้เคยเสด็จมานมัสการ ได้ถวายบาตรแก้วสีน้ำเงินถวายหลวงพ่อบ้านแหลมเป็นพุทธบูชา และยังปรากฏอยู่จนทุกวันนี้

พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ทรงพระราชศรัทธาหลวงพ่อบ้านแหลม จึงพระราชทานผ้าดิ้นทองแก่หลวงพ่อจำนวนสองผืน แต่ละผืนมีขนาดหน้ากว้าง 6 นิ้ว ยาวประมาณ 10 ฟุต ปัจจุบันทางวัดได้จัดแสดงไว้ในพระอุโบสถที่ประดิษฐานหลวงพ่อบ้านแหลม ในวันสำคัญ เช่น วัดสงกรานต์ วันทอดกฐินพระราชทาน จะนำผ้าดิ้นทองพระราชทานมาประดับองค์หลวงพ่อบ้านแหลมด้วย

"หลวงพ่อบ้านแหลม" เป็นที่เคารพบูชาในหมู่พุทธศานิกชนโดยทั่วไป ในแต่ละวันจะมีผู้ศรัทธาจากทั่วทุกสารทิศมากราบนมัสการอย่างเนืองแน่น มีการเปรียบเปรยว่า หากใครไปเมืองสมุทรสงคราม ไม่ได้ไปนมัสการหลวงพ่อบ้านแหลมก็เสมือนไม่ได้ไปเมืองสมุทรสงคราม ใครพูดถึงเมืองสมุทรสงคราม ไม่กล่าวถึงนามหลวงพ่อบ้านแหลมก็เสมือนไม่รู้จักสมุทรสงคราม คนสมุทรสงครามคนใดไม่เคยเห็นหลวงพ่อบ้านแหลม ก็เปรียบเสมือนลูกกำพร้าไม่เคยเห็นหน้าพ่อ