元和５年（1619）６月、将軍秀忠は幕府に無断で城の改築造営を繰り返した容疑（実際には洪水で壊れた城の石垣を修復しただけであり、幕府に許可を得ていた）により、広島城主福島正則を江戸城に召しだして安藝と備後の２カ国、480,000石を没収し、新たに奥州の津軽45,000石に所替することを決めた。その結果広島では家老以下数千人が城に篭城決戦の準備を始めた。そこで幕府はこれに対峙するために諸大名１３家の軍勢を広島へ差向けた。近隣であった津山藩もこの１３家の一つに選ばれ、忠政も「金の三ツ団子」の馬印を掲げて広島へ軍勢を向けた。山内家文書によると、１３家のうち、外様大名九家に対しては、「安藤対馬守と永井右近を検使役としこのほかに目付役を差し向ける。したがってこの命に背く者は掟に従って所領を取り潰しとする」という旨の非常に厳しい指令を発したとある。
江戸屋敷に謹慎していた福島正則は、家臣の勝手な暴挙に責任を取り、一時は自害も試みたが側近の家臣に諌められ、広島の家臣に当てて無血開城して明け渡すよう書状を送った。これにより広島では事なきを得て無事開城させ、内心この反抗に不安を抱いた幕府もこの神妙なる態度を評価して奥州への移封を取り消し、森家の旧領であった信州川中島45,000石へ封じて蟄居させた。しかし福島家への追い討ちは、これで終わったわけではない。
寛永元年に福島正則が死去すると、幕府が検死の使者を送ったにもかかわらず、使者が到着する前に正則の遺骸は高井村で火葬したために再び幕府に咎められ、わずか3,000石に減封され、さらに正則の子・正利　には子がなく、福島家は無嗣断絶となった。
490,000万石の大藩といえども、徹底的に追い詰められた結果となった。ちなみにこのときに福島家を辞した廣島藩の重臣、長尾隼人は忠政によって召抱えられ、7,000石の待遇で津山藩の執権職に取り立てられた。
これは当時、天下が平定した徳川家康は、外様大名に対するリストラとも言うべき政策を持ち出したからであり、脅威となる外様大名には冷遇して取り潰し、有能な外様大名に対しては縁組をさせて親藩として厚遇した。いわゆる外様懐柔策である。前者の典型例は福島正則や加藤清正であり、どちらも徳川幕府樹立に大きく貢献した大名家である。この政策に震えた加藤清正も家康に忠誠を誓いながら世を去ったが、その死後まもなく加藤家も難問を突きつけられて改易となった。どちらも強大な軍事力を持つ大藩で、有事の際に最も脅威となる相手でもあったのが最大の要因である。
後者は前田家や伊達家であり、森家も後に忠政の嫡子忠廣が徳川秀忠の養女と婚姻している。前田も伊達も強大ではあるが、親戚とすることで強い味方になると考えたのである。
森家が改易となったのはこの時期からは大きく外れるものの、結論的に判断するならば外様冷遇政策も一つの要因ではないかと思われる。しかし、忠政の治世下で取り潰しの対象とならなかったのは、忠政が比較的早期に家康に忠誠を示し、かつ家康から絶大な信用を得ていたからであろう。
（森勇己）