刘渊妈妈呼延氏，在曹魏嘉平中去龙门求子，看到黄河中跃出一条顶上有两只角的大鱼，在祭品放置的地方徘徊很久才走。晚上的时候，呼延氏做了一个梦，梦见白天见到的那条大鱼变成了一个人，左手拿了一个半个鸡蛋大的东西，对自己说：“这是太阳之精，服之生贵子。”从此以后，过了13个月，生下了刘渊，刘渊的左手上有个“渊”字，所以，取了这个名字。——此种帝王神话，我们屡见不鲜了，姑妄听之也罢。
不过，刘渊单就相貌上说，就不同凡响。据史书记载，刘渊“姿仪魁伟，身长八尺四寸，须长三尺余，当心有赤毫毛三根，长三尺六寸。”按照现在的标准，身高将近2米，70多厘米长的胡子，心口窝出还有3根7、80厘米长的红毫毛！不仅如此，而且还能文能武，臂力过人，射箭百发百中。
年幼的时候，刘渊跟着上党学者崔游学习，学习《毛诗》、《京氏易》、《马氏尚书》，特别喜欢读《春秋左氏传》和《孙吴兵法》，几乎能把这两部书背诵下来，其他的书，比如，《史记》、《汉书》、诸子百家的文章，也都遍读。他曾经对自己的同学朱纪、范隆说：“我每每读《汉书》列传的时候，常常鄙视随何、陆贾没有武艺，而周勃、灌婴没有文采。开创大业，全靠人来做，哪怕有一样东西如果不明白的话，那就是君子的耻辱。随何、陆贾遇到汉高祖而不能建立封侯之业，周勃、灌婴身处汉文帝的和平年代又不能使文化繁荣，真是可惜的啊！”有的术士看到刘渊，都十分惊诧，以为此人的相貌见所未见。太原王家，从王浑的爸爸王昶开始就一直善待刘渊，直到王济都和他交好。
还是在司马昭当政的时候，刘渊就作为人质待在洛阳，等到司马炎即位以后，王浑曾经向司马炎推荐刘渊，司马炎见到刘渊以后，很高兴，对王济说：“刘渊这个人从容貌上，还是从见识上，即使由余（秦穆公的上卿）和金日磾（匈奴休屠王太子，辅佐汉武帝，忠心耿耿，武帝死后和霍光一起被任命为辅政大臣。）也比不过啊！”当时，司马炎正为平吴的事情操心，王济趁机进言说：“刘渊的容貌见识，确实和你说的一样，但是，他的文武才干却比那二人要强很多的，如果您让刘渊去平定东南，肯定没问题。”司马炎点头称善。但是，孔恂、杨珧告诫司马炎说：“刘渊的才能，当今恐怕无人能比，陛下您如果给他的人手少了，不足成事；给的人多了，平定了吴国以后，恐怕他就不会回来了。非我族类，其心必异。让他统领他自己的部众，我就已经替陛下寒心了，如果您再让他拥有长江天险的话，那不是太不应该了吗！”听到这里，司马炎不说话了。
到秃发树机能闹腾最欢的时候，司马炎问还能派谁去当将帅。
这次，王浑家不再出头了，同是并州人的李憙建议说：“陛下如果能把匈奴五部之众征集起来，加刘渊一将军之号，让他带兵西去，秃发树机能一定能很快被平定。”
孔恂又一次在旁边泼凉水：“李公您说的，恐怕是没有把灭寇的道理参透啊。”
李憙勃然大怒说：“以匈奴兵的强悍，加上刘渊又明习兵法，怎么能不成功！”
孔恂淡淡地说：“刘渊如果能平了凉州，斩了树机能，无恐怕凉州的灾难才刚刚开始啊。刘渊就象是蛟龙，一旦得云雨，就不再是池塘中的玩物了。”
刘渊听说以后，正巧王颀（曾受毌丘俭之命平灭高句丽）的孙子大侠王弥从洛阳往东回老家，刘渊设宴送别。宴席上，刘渊哭着对王弥说：“王浑、李憙因为是老乡是我的知己，每每向皇帝推荐，可是谗言也随之而来，这真不是我愿意看到的啊。这样下去不仅对我没什么好处，反而有害。无本来就不想当官，这一点只有你知道，恐怕以后我要死在洛阳了啊，从此和您永别了。”当时，情绪激动，扬声长啸，众人为之流泪。当时齐王司马攸也在附近喝酒，听到这边喧哗，派人来看，见刘渊在这里聚众，回去以后，对司马炎说：“陛下不除掉刘渊，臣恐怕并州不得长久的安宁。”王浑劝司马炎说：“刘渊是个厚道人，我王浑可以担保。并且，现在我们要对少数民族显示宽大，怎么能杀了人家的人质呢？”
司马炎同意了王浑的意见。
正巧刘渊的爸爸刘豹死了，司马炎不仅没有杀掉刘渊，而且还以刘渊代替他爸爸为匈奴左部帅。
作为安抚胡人的一项措施，同时也是对自己后事的一项安排，司马炎除了拜慕容廆为鲜卑都尉以外，在太康10年，他把刘渊也拜为匈奴的北部都尉，确立了刘渊在北部匈奴各部的最高统治权。刘渊上任以后，开始进一步加强对5部的控制和拉拢，不仅匈奴部落的贵族都聚集到门下，而且，河北等地的人士也纷纷投靠。等到司马炎死后，杨骏辅政，为了拉拢刘渊，更加刘渊为建威将军、五部大都督，封汉光乡侯，从而明确了刘渊在整个匈奴部落的统治权。