경남 통영시 한산면 매죽리가 매물도라는 섬이다. 이곳 매물도에는 특이한 전설이 하나 전해온다. 약 180년전에 매물도에는 처음 들어와 살게 됐다는 허씨 부부가 있었다. 돛단배로 고기잡이에 나섰던 이 부부는 풍랑을 만나 표류하다 이 섬에 밀려왔다. 낯선 외딴섬, 들려오는건 파도소리와 갈매기의 합창뿐인 이곳에서 단둘이 적막한 섬 생활을 시작했다.
몇 년이 흐른 뒤 허씨의 부인에게 태기가 있어 열 달만에 낳아보니 꿈에도 생각지 않았던 쌍둥이 남매였다. '쌍둥이 중에 한 아이의 명이 짧다'는 전해져 오는 얘기를 굳게 믿었던 許씨 부부는 자식을 얻은 기쁨보다 걱정이 앞서 시름으로 나날을 보냈다. 몇 달을 두고 許씨부부는 서로 의논을 했으나 뾰족한 방법이 없어 동생인 딸을 앞섬인 소매물도에 갖다 버렸다.
그 뒤 아들은 스무살 전후의 건장한 청년으로 성장했고 許씨부부는 입버릇처럼 아들에게 작은 섬(소매물도) 에는 건너가지 말라고 일렀다. 영문을 알지 못한 채 부모들의 말을 명심하고 지켜온 아들이 하루는 산에 나무를 하러 갔다가 작은 섬에서 연기가 피어오르는 것을 보고 호기심이 생겼다.
늘 마음속에 부모님이 특별한 이유도 없이 금지한 일에 궁금증을 참을 수 없었다. 그 날밤 몰래 헤엄쳐 작은 섬으로 건너갔다. 거기서 아들은 제 나이 또래의 아리따운 처녀를 만났다. 오누이간인 줄 알 길이 없는 두 젊은 남녀는 곧 뜨거운 사랑에 빠졌고 아들은 큰 섬에 돌아가는 것조차 잊어버렸다.
마침내 이들은 깊은 정을 맺기까지에 이르렀는데 그 순간 하늘에서 번개가 치며 벼락이 떨어져 두 남녀는 바위로 변해버렸다는 것이다.마을에서 등성이 하나 너머 매물도가 바라다 보이는 아랫개 골짜기에 큰 바위 두개가 있는데 이 바위가 바로 전설의 암수바위이며 위에 있는 크고 거뭇한 것은 숫바위고 30m쯤 아래에 있는 약간 작은 희멀쑥한 바위는 암바위라 한다.