決闘の経緯は『小倉碑文』の記録を要約すると以下の通りとなる。

武蔵は京に上り「扶桑第一之兵術」の吉岡一門と戦った。吉岡家は代々足利将軍家の師範で、「扶桑第一兵術者」の号であった。足利義昭の時に新免無二を召して吉岡と兵術の試合をさせた。三度の約束で、吉岡が一度、新免が二度勝利した。それにより、新免無二は「日下無双兵法術者」の号を賜った。このこともあって、武蔵は京で吉岡と戦ったのである。
最初に吉岡家の当主である吉岡清十郎と洛外蓮台野で戦った。武蔵は木刀の一撃で清十郎を破った。予め一撃で勝負を決する約束だったので命を奪わなかった。清十郎の弟子は彼を板にのせて帰り、治療の後、清十郎は回復したが、兵術をやめ出家した。

その後、吉岡伝七郎と洛外で戦った。伝七郎の五尺の木刀を、その場で武蔵が奪いそれで撃ち倒した。伝七郎は死亡した。

そこで、吉岡の門弟は秘かに図り、兵術では武蔵に勝てないので、吉岡亦七郎と洛外下松で勝負をするということにして、門下生数百人に弓矢などを持たせ、武蔵を殺害しようとした。武蔵はそのことを知ったが、弟子に傍らから見ているように命じた後、一人で打ち破った。

この一連の戦いにより、吉岡家は滅び絶えた。

宮本伊織が武蔵の菩提を弔うために承応3年（1654年）に豊前国小倉藩（現北九州市小倉北区）手向山山頂に建立した顕彰碑文。
『小倉碑文』などの記録は、他の史料と比べて事実誤認や武蔵顕彰の為の脚色も多く見られる。吉岡家の記述に限定すれば、武蔵に完敗し引退した清十郎、死亡した伝七郎、洛外下松の事件の記録は他の史料になく、創作の可能性がある。また、兵仗弓箭（刀・槍・薙刀などの武具と弓矢）で武装した数百人の武人を相手に一人で勝利するなどの記述は現実離れしている。同様に新免無二と吉岡家との足利義昭御前試合に関する逸話も他の史料になく、因縁を足利将軍家と絡めて描くことで物語性を高めるための創作の可能性がある。

福岡藩の二天一流師範、立花峯均が享保12年（1727年）に著した武蔵の伝記『兵法大祖武州玄信公伝来』にも、吉岡家との伝承が記されている。これを要約すると以下の通り。

清十郎との試合当日、武蔵は病になったと断りを入れたが、幾度も試合の要求が来た。竹輿に乗って試合場に到着した武蔵を出迎え、病気の具合を聞く為に覗き込んだ清十郎を武蔵は木刀で倒した。清十郎は後に回復したが、兵術を捨てて出家した。
伝七郎は洛外で五尺の木刀を用いて武蔵に立ち向かったが、木刀を奪われ撲殺された。

又七郎は、洛外下り松のあたりに鎗、薙刀や弓矢で武装した門人数百人を集めて出向いた。武蔵側にも十数人門人がおり、若武者の一人が武蔵の前に立つが弓矢で負傷した。これを見た武蔵は門人達を先に退却させ、自らが殿となって、数百人の敵を打払いつつ退却した。武蔵は寺に逃げ込み、寺伝いに退却し、行方をくらませた。与力同心がその場に駆けつけ、その場を収めた。

この事がきっかけで吉岡家は断絶した。