龙泉剑为春秋时期越国欧冶子为楚王所铸.《越绝书》载：（欧冶子）凿茨山、泄其溪,取山中铁英,作剑三枚,曰：“龙渊”、“泰阿”、“工布”.其中龙渊剑即是龙泉剑,取“观其状,如登高山、临深渊”而名.
又《晋书·张华传》记载：吴之未灭也,斗牛之间常有紫气.及吴平之后,紫气愈明.华闻豫章人雷焕妙达伟象,乃要焕宿,因登楼仰观.华曰：是何祥也?焕曰：宝剑之精,上彻于天耳.华曰：在何郡?焕曰：在豫章丰城.华即补焕为丰城令.焕到县掘狱屋基得一石函,中有双剑,并刻题,一曰龙泉,一曰太阿.焕遣使送一剑与华,留一自佩.这就是龙泉剑流落丰城的典故.丰城与杜审言的贬谪地吉州同属江西.本诗在此用龙泉剑被埋没的故事,喻指友人的怀才不遇,流落江湖之意.
至于龙泉剑,晋之后,为唐高祖李渊所得,李渊死后随李渊葬于献陵,也有传说李渊曾将此剑传于太宗李世民,后与李世民一起葬于昭陵.又有传说,邋遢道人张三丰曾配此剑.但实际下落终不可考.