漢武帝天漢元年，匈奴向漢朝求和，於是，漢武帝就派中郎將蘇武出使匈奴。蘇武接受任務以後，帶著使團及豐厚的禮物出發到匈奴。不料，反覆無常的匈奴單于不但不感謝，反而受壞人挑唆，把蘇武等人扣押起來，要蘇武投降。金錢、高官厚祿、凍餓折磨，這些都沒能使蘇武屈服，他堅決不投降。沒辦法，單于只好下令將蘇武送到北海邊上（現在的西伯利亞貝加爾湖一帶）去牧羊。並且對蘇武說：“等公羊何時生了小羊，就送你回漢朝去！”公羊怎麼能生小羊呢？用意十分明白，單于是堅決不放蘇武回漢朝了。

北海一帶，荒無人煙，終年白雪覆蓋。蘇武只能以野鼠洞裡的草子充飢。每天，蘇武一邊牧羊，一邊撫弄著出使時漢武帝親手交給他的旌節，心中深深地懷念著自己的祖國。夜晚睡覺時，他將旌節緊緊抱在胸前。就這樣，日復一日，艱苦地度過了漫長的歲月。

後來，漢武帝死後，漢昭帝即位，匈奴又與漢朝議和，但單于仍不讓蘇武回漢朝，還謊稱蘇武已經死了。與蘇武一起出使匈奴的常惠，千方百計把蘇武的情況告訴了漢朝使者，還為使者想出了一個要回蘇武的妙計。

第二天，漢朝使者去見單于，按照常惠的計策對單于說：“你們匈奴既然要誠心跟漢朝結好，就不該再欺騙我們。蘇武明明沒有死。有一天，我們皇上在上林苑裡射獵，射下一隻大雁，大雁的腳上繫著一條綢子，那是蘇武寫給皇上的一封信。信裡說他在寒冷的北海地方牧羊，你們怎麼說他死了呢？大雁能帶信，這是天意，你們怎麼可以欺騙天呢？”單于聽了，不覺大吃一驚，只好承認自己說了謊話，而後又說：“蘇武的忠心都感動了飛鳥，難道我們還不如大雁嗎？”說完，他立即向漢朝使者道歉，並答應趕快派人把蘇武從北海地方找回來。

蘇武回到了闊別二十年的京城長安，漢昭帝接見了他們，還叫他到先帝廟裡去拜見漢武帝的靈位，並把那根光禿禿的旌節交還到漢武帝靈前。