衛(wèi)律知道蘇武終究不能脅迫,報(bào)告單于.單于更加希望使他投降,就把蘇武囚禁起來,放在地穴里,跟外界隔絕不供給飲食.天下著雪,蘇武躺著嚼雪,同旃毛一起吞下充饑,幾日不死.匈奴以為神奇,就把蘇武遷移到北海（今俄國(guó)西伯利亞貝加爾湖,當(dāng)時(shí)為匈奴北界）邊沒有人的地方,讓他放牧公羊,等到公羊生了小羊才得歸漢.把他的部下隨從?；莸确珠_,分別安置到其他地方.蘇武遷移到北海后,匈奴供給的糧食不到,他就掘取野鼠、收藏草實(shí)來吃.拄著漢廷的旄節(jié)牧羊,睡臥起身都拿著,節(jié)上用牦牛尾做的裝飾全部脫落.過了五六年,單于的弟弟於靬王到北海上打獵.蘇武會(huì)編結(jié)打獵的網(wǎng),矯正弓弩,於靬王很器重他,供給他衣服、食物.三年多以后,於靬王得病,賜給蘇武馬匹和牲畜、盛酒酪的瓦器、圓頂?shù)臍謳づ?王死后,他的部下也都遷離.這年冬天,丁令人盜去了蘇武的牛羊,蘇武又陷入窮困.
當(dāng)初,蘇武與李陵都為侍中.蘇武出使匈奴的第二年,李陵投降匈奴,不敢訪求蘇武.時(shí)間一久,單于派遣李陵去北海,為蘇武安排了酒宴和歌舞.李陵趁機(jī)對(duì)蘇武說：“單于聽說我與你交情一向深厚,所以派我來勸說足下,愿意以禮相待.你終究不能回歸本朝了,白白地在荒無人煙的地方受苦,你對(duì)漢廷的信義又怎能有所表現(xiàn)呢?以前你的大哥蘇嘉做奉車都尉,跟隨皇上到雍城的棫陽宮,扶著皇帝的車子下殿階,碰到柱子,折斷了車轅,被定為大不敬之罪,用劍自殺了,只不過賜錢二百萬用以下葬.你弟弟孺卿（蘇賢）跟隨皇上去祭祀河?xùn)|土神,騎著馬的宦官與駙馬爭(zhēng)船,把駙馬推下去掉到河中淹死了.騎著馬的宦官逃走了.皇上命令孺卿去追捕,他抓不到,因害怕而服毒自殺.我離開長(zhǎng)安的時(shí)候,你的母親已去世,我送葬到陽陵.你的夫人年紀(jì)還輕,聽說已改嫁了,家中只有兩個(gè)妹妹,兩個(gè)女兒和一個(gè)男孩,如今又過了十多年,生死不知.人生像早晨的露水,何必長(zhǎng)久地像這樣折磨自己!我剛投降時(shí),終日精神恍惚,若有所失,好像要發(fā)狂,痛心自己對(duì)不起漢朝,加上老母被拘禁在保宮.你不想投降的心情,怎能超過當(dāng)時(shí)的我呢?并且皇上年紀(jì)大了,法令隨時(shí)變更,大臣無罪而全家被殺的有十幾家,安危不可預(yù)料.你還打算為誰守節(jié)呢?希望你聽從我的勸告,不要再說什么了!”蘇武說：“我蘇武父子無功勞和恩德,都是皇帝栽培提拔起來的,官職升到列將,爵位封為通侯,兄弟三人都是皇帝的親近之臣,常常愿意為朝庭犧牲一切.現(xiàn)在得到犧牲自己以效忠國(guó)家的機(jī)會(huì),即使受到斧鉞和湯鑊這樣的極刑,我也心甘情愿.大臣效忠君王,就像兒子效忠父親,兒子為父親而死,沒有什么遺憾,希望你不要再說了!”
李陵與蘇武共飲了幾天,又說：“你一定要聽從我的話.”蘇武說：“我料定自己已經(jīng)是死去的人了!您一定要逼迫我投降,那么就請(qǐng)結(jié)束今天的歡樂,讓我死在你的面前!”李陵見蘇武對(duì)朝廷如此真誠(chéng),慨然長(zhǎng)嘆道：“啊,義士!我李陵與衛(wèi)律的罪惡,上能達(dá)天!”說著眼淚直流,沾濕了衣襟,告別蘇武而去.
漢昭帝（武帝之子,名弗陵）登位幾年后,匈奴與漢朝議和,締結(jié)婚姻關(guān)系.漢廷索求蘇武等人,匈奴欺詐說蘇武已死.后來漢使者又到匈奴,?；菡?qǐng)求看守他的人一道去（見漢朝使者）,在夜晚見到了漢使,自己（把這些年的經(jīng)歷）全部加以陳述,教導(dǎo)使者告訴單于,說：“天子在上林苑（當(dāng)時(shí)皇帝游玩射獵的園林）中射獵,射得一只大雁,腳上系著一封用絲絹寫的信,上面說蘇武等人在水草匯集的地方.”漢使者非常高興,按照?；菟痰脑捜ヘ?zé)備單于.單于看著身邊的人十分驚訝,向漢使道歉說：“蘇武等人的確還活著.”
單于召集蘇武的部下,（除了）以前已經(jīng)投降和死亡的,總共跟隨蘇武回來的有9人.蘇武在漢昭帝始元六年（公元前81年）春回到長(zhǎng)安.蘇武被扣在匈奴總共19年,當(dāng)初壯年出使,等到回來,胡須頭發(fā)全都白了.