聚落主要位於吉貝南方，從港口由南往北、往東、往西三個方向發展，主要分布在觀音寺到武聖廟一區，直達舊碼頭區。吉貝村以武聖殿為分界點，將聚落區分為東邊與西邊。東邊以「陳」姓、「謝」姓居多，西邊「莊」姓為大姓。武聖殿肇建於明永曆7年（西元1652年）是吉貝居民的信仰中心，又稱東廟；觀音寺創建於清道光7年（西元1827年），又稱西廟。此外尚有福德廟與大將爺（一般俗稱大眾爺）廟，以及數座的有應公廟。
吉貝建築因多數就地取材，使用咾咕石整齊切割，玄武岩以及石板，石灰泥運用廣泛，建築雕樑畫棟，門板上彩繪，整體十分具古色古香；聚落建築融合了不同時空和歷史堆疊出來的景像，就連建築上的窗戶型制，多變具創意。
在聚落後方還有菜宅，不論是清晨亦或黃昏，都有辛勤的農夫照護著石牆下的菜蔬，來到吉貝，除了海上活動之外，白天亦可以來聚落走走感受一下。
【建議停留時間】 2小時