美作国主となった森忠政は、森家が得意とする築城技術のすべてを投じて、壮麗な城を完成させた。
天守閣は五層に及び、石垣にしても他の城に見劣りしない最も自慢とするところであった。。
　しかし、この壮麗な天守閣が災いをもたらす。当時江戸においても五層からなる壮大な天守閣が落成したばかり。幕府にとっては、既存のどんな天守閣よりも勝るものをイメージして建造しただけに、その直後に同類の天守が完成することを望まなかった。忠政もこの津山の天守閣を悪くないと思い、ありのままに絵図に仕立て上げて幕府に届け出たため、たちまち幕閣の知るところとなり、江戸城で老中の呼び出しを受けた。
何も知らない忠政が出頭すると、そこには先日届け出た津山の絵図が広がっており、五層の天守閣を指差し、「五層の天守を新築することはご法度である」と指摘された。それがつい過日、福島正則が広島城を無断築城して改易の憂いとなり、その幕府収城使として廣島に出陣した忠政は誰よりも良く知っている。そこで、「この天守は書き間違えであり、実際は四層の天守閣である、江戸城の天守を上回るような建物ではない」と釈明し下城した。老中達も一度は納得したが、念のため検分の使者を派遣することとした。
使者が江戸を発した数日後、忠政はこの検分があることを知り、もはや間に合わないと覚悟をしたが、家臣に仙術を学んだという伴という男がいることを思い出し、伴にどうにか先回りして津山へ知らせを届けて欲しいと命じた。
伴氏は見事使者を先回りして津山に到着、直ちに四層目の屋根を切り落とし、検分使者の目をごまかしたという。この伴氏こそ、かつて忠政を岐阜城から救出した伊賀衆である。
（森勇己）