苏武在汉朝时，与李陵都担任侍中的官职。
武帝天汉二年（前99年），李陵投降匈奴，不敢访求苏武。后单于派李陵去北海，为苏武设酒宴和歌舞。
李陵对苏武说：“单于听说我和子卿你交情深厚，所以让我来劝说你，他真心你能成为匈奴的臣子。你到死也不能归汉，白白在没有人的地方让自己受苦，即使坚守信义又有谁能看见呢？先前长君做奉车都尉，随从圣驾至雍的棫阳宫，皇帝扶辇下除，撞到柱子折断车辕，被指控为大不敬，伏剑自刎，皇帝赐钱二百万作为丧葬费。孺卿随从圣驾祠河东后土，宦骑与黄门驸马争船，把驸马推到河里淹死了。宦骑逃亡，皇帝下诏让孺卿追捕，没抓到，孺卿惶恐服毒自杀。我来的时候，你的母亲已不幸去世，我送葬至阳陵。你的妻子年少，听说已经改嫁了。只有两个妹妹，两个女儿一个儿子，重你离家至今已经十几年了，是不是还活着也不知道。人生如朝露一般短，为什么要让自己受这么久的苦呢！我刚投降的时候，也痛苦的像发疯一样，恨自己背叛了汉朝，加上老母被收留在保宫里。你不想投降的心情，难道比得过我当初？况且陛下年龄大了，法令无常，大臣们没有犯罪就被灭族的有数十家，连自身安全都无法保证，你还顾得上别人么？请听从我的建议，不要再说别的了。”
苏武说：“我们苏家父子没有什么功劳，都是因为陛下才能位列将帅，获爵封侯，兄弟为近臣，我一直都想肝脑涂地来报答他的恩情。现在能够杀身报恩，即使是上刀山下油锅，也觉得快乐。臣子事奉君主，就如同儿子事奉父亲。儿子为父亲而死没有什么遗憾的。希望你不要再说了。”李陵与苏武共饮了几天，又说：“你就听从我的话吧！”苏武说：“我早就已经死了！右校王（李陵在匈奴的爵位）如果一定要让我投降，就请请停下今日的欢宴，我直接死在你面前！”
李陵见苏武如此真诚，喟然长叹道：“真是义士啊！我和卫律的罪过上通于天！”说著流下眼泪浸湿了衣襟，决别苏武而去。
后李陵又到北海，对苏武说：“区脱地区捕得云中的活口，说太守以下的吏民都穿着白衣，说皇帝驾崩了。”苏武听了向南大哭，吐血，每天早晚哭吊数月之久。
武帝后元二年（前87年），昭帝即位。
几年后，匈奴和汉朝达成和议。汉朝寻求苏武等，匈奴谎称苏武已死。后汉使又到匈奴，常惠请求看守他的人员同他前往，夜晚见了汉使，原本地述说了这几年在匈奴的情况。告诉汉使要对单于说：汉天子在上林苑中射猎，射得一只大雁，脚上系著帛书，上说苏武等人在北海。汉使万分高兴，照常惠所说的话去责问单于。单于看身边的人非常惊讶，向汉使道歉说：“苏武等人的确还活着。”
于是李陵设酒筵向苏武祝贺，说：“今天你还归，在匈奴中扬名，在汉皇族中功绩显赫。即使古代史书所记载的事迹，图画所绘的人物，怎能超过你！我李陵虽然无能和胆怯，假如汉廷姑且宽恕我的罪过，不杀我的老母，使我能实现在奇耻大辱下积蓄已久的志愿，这就同曹沫在柯邑订盟可能差不多，这是以前所一直不能忘记的！逮捕杀戮我的全家，成为当世的奇耻大辱，我还再顾念什么呢？算了吧，让你了解我的心罢了！我已成异国之人，这一别就永远隔绝了！”李陵起舞，唱道：“走过万里行程啊穿过了沙漠，为君王带兵啊奋战匈奴。归路断绝啊刀箭毁坏，兵士们全部死亡啊我的名声已败坏。老母已死，虽想报恩何处归！”李陵泪下纵横，于是同苏武永别。
单于召集苏武的部下，除了以前已经投降和死亡的，总共跟随苏武回来的有九人。
昭帝始元六年（前81年）春，苏武回到长安。昭帝下令苏武带一份祭品拜谒武帝园庙。官拜典属国，俸禄中二千石；赐钱二百万，官田二顷，住宅一处。常惠、徐圣、赵终根都官拜中郎，赐丝绸各二百匹。其余六人因年老而返乡，各赐钱十万，终身免徭役。
……
苏武牧羊的故事虽然流传千古，但是苏武返回汉朝之后的遭遇，并不比其在匈奴好得到什么地方去。
昭帝始元七年（前80年），左将军上官桀、骠骑将军上官安父子与御史大夫桑弘羊、燕王刘旦、鄂邑公主谋反，苏武之子苏元因参与阴谋，而被处死。
起初，上官桀、上官安与大司马大将军霍光争权。上官桀父子屡次记下霍光的过失交给燕王刘旦，使刘旦上书昭帝，告发霍光。又说苏武出使匈奴二十年不肯降，但回到汉朝后，只为典属国。然而霍光属下长史并无功劳，却被升为搜粟都尉，霍光专权放肆。
直到刘旦等人被处死，追查同谋者。苏武与上官桀、桑弘羊有旧，燕王又因苏武功高而官小数次上书，其子又参与谋反。廷尉上书请求逮捕苏武。霍光把奏章搁置，只将苏武免官。
昭帝元平元年（前74年），宣帝即位。宣帝赐爵苏武关内侯，食邑三百户。后卫将军张安世推荐苏武通悉典章制度、出使持节不降。于是宣帝召苏武在宦者署听候宣召，多次进见。拜右曹典属国。因苏武是德高望重的老臣，只令他每月的初一和十五日入朝，尊称为“祭酒”。苏武把所得赏赐