ชุมชนยี่สาร ตั้งอยู่ใกล้กับปากอ่าวไทย มีเขายี่สารซึ่งเป็นภูเขาหินปูนขนาดย่อมอยู่กลางหมู่บ้าน พื้นที่โดยรอบเป็นป่าโกงกางและนากุ้ง บ้านเรือนส่วนใหญ่เป็นเรือนไทยปลูกอยู่ริมน้ำ จากหลักฐานทางโบราณคดีที่พบในชุมชนสรุปได้ว่า ยี่สารมีการตั้งถิ่นฐานของชุมชนมาตั้งแต่สมัยกรุงศรีอยุธยา
มีเรื่องเล่าเกี่ยวกับความเป็นมาของชุมชนยี่สารซึ่งเกี่ยวพันกับตำนาน หลวงปู่ศรีราชา ที่มีความศักดิ์สิทธิ์เป็นที่เคารพนับถือของชาวบ้านทั่วไป ซึ่งมีศาลประดิษฐาน ณ วัดแห่งนี้ มีคนจีนสามพี่น้องล่องเรือสำเภามาค้าขาย พี่คนโตชื่อ จีนเครา คนรองชื่อ จีนขาน คนสุดท้ายชื่อจีนกู่ เมื่อล่องเรือถึงบริเวณเขายี่สาร เรือสำเภาได้พุ่งชนเขาจนเรือแตก ทั้งสามพลัดพรากจากกัน คนรองคือ จีนขาน ได้ตั้งบ้านเรือนอยู่ที่เขายี่สาร และเกิดเป็นชุมชนนี้ตราบเท่าทุกวันนี้ โดยชาวบ้านเชื่อว่า จีนขานคือหลวงพ่อศรีราชา

วัดเขายี่สาร
สันนิษฐานว่าสร้างขึ้นสมัยอยุธยาตอนปลาย ตั้งอยู่บนเขายี่สาร วิหาร บนยอดเขามีลักษณะเป็นรูปเรือ ลักษณะสถาปัตยกรรมสมัยอยุธยาตอนปลาย ถึงรัตนโกสินทร์ตอนต้น บานประตูแกะสลัก บานหนึ่งเป็นลายก้านขด ลักษณะคล้ายเถามะลิเลื้อย ตรงกลางเป็นลายกะหนกรูปดอกบัวตูม อีกบานหนึ่ง ลายสานแบบตะแกรง มีลายสี่เหลี่ยมย่อมุมสิบสองอยู่ตรงกลาง ด้านหน้ามีซุ้มพระพุทธรูปยืนปางห้ามญาติ ด้านในประดิษฐานพระพุทธบาทสี่รอย อุโบสถได้รับการบูรณะใหม่มีลายปูนปั้นประดับช่างฝีมือช่างเมืองเพชรบุรี บานหน้าต่างมีภาพเขียนตัวละครในพงศาวดารเรื่อง "ห้องสิน" นอกจากนี้ยังมีถ้ำพระนอนประดิษฐานพระพุทธรูปไสยยาสน์ ซึ่งมีพระบาท 9 นิ้ว บริเวณด้านล่างยังมีศาลประดิษฐานหลวงพ่อปูศรีราชา ที่มีความศักดิ์สิทธิ์เป็นที่เคารพนับถือของชาวบ้านทั่วไป และจะมีงานนมัสการหลวงพ่อปู่ กลางเดือนอ้ายของทุกปี

พิพิธภัณฑ์บ้านยี่สาร
จัดตั้งขึ้นเมื่อปี พ.ศ.2539 โดยปรับปรุงจากศาลาการเปรียญ ซึ่งมี 2 ชั้น โดยความร่วมมือร่วมใจของของชุมชนยี่สาร รวบรวมโบราณวัตถุจัดแสดงเป็นพิพิธภัณฑ์ ชั้นบนจัดแสดงนิทรรศการเกี่ยวกับพัฒนาการของชุมชนยี่สาร ธรรมาสน์ เสมาหินทราย หีบพระธรรม ฯลฯ รวมทั้งภาพพิธีกรรมความเชื่อเกี่ยวกับหลวงพ่อปู่ศรีราชา ความรู้เรื่องโพล่ (ภาชนะคล้ายครุ) และมีภาพจิตรกรรมเกี่ยวกับพุทธประวัติบนผนังด้านบน ส่วนบริเวณชั้นล่างจัดนิทรรศการเกี่ยวกับภูมิปัญญาชาวบ้าน วิถีชีวิตและวัฒนธรรมของชาวยี่สาร และเครื่องใช้ในชีวิตประจำวัน เครื่องเคลือบและโลหะ (เปิดให้ชมเฉพาะวันเสาร์-อาทิตย์ และวันที่ตรงกับวันพระในช่วงเข้าพรรษา หากเป็นวันธรรมดาจะเปิดให้เข้าชมเมื่อมีการติดต่อขอเข้าชมล่วงหน้าไม่น้อยกว่า 1 สัปดาห์)

วิถีชีวิตชาวบ้าน
หากนักท่องเที่ยวที่สนใจวิถีชีวิตชาวบ้านและการทำฟาร์มหอยแครง สามารถติดต่อ อบต.ยี่สาร (โทร.034-763108) ให้จัดเรือนำเที่ยว ชมการเผาถ่านในบริเวณใกล้เคียง ชมการตั้งถิ่นฐานทางน้ำของชุมชนประมง รวมทั้งแล่นออกสู่บริเวณอ่าวไทย เพื่อชมฟาร์มเลี้ยงหอยแครงได้อีกด้วย