魏征生于河北曲城（今河北巨鹿），幼年即失去双亲，孤苦无依，家里有一点薄产，但他无心经营，穷困潦倒之中的他怀着一颗雄心，立志干出一番事业。
隋末天下大乱以后，魏征谎称出家做道士，加入了武阳郡（今河北大名）郡丞元宝藏的反隋队伍，担任文书工作。元宝藏与瓦岗军首领李密常有书信往来，每次阅览元宝藏的来信，李密都十分欣赏文字的工整典雅不俗，后来得知这些书信都是魏征执笔的，便将魏征调入他的元帅府，任文学参军。——写得一手好文章是许多年轻人得以敲开官场大门，进入仕途的一条捷径，高官中秘书出身的人不少，大多走的就是这条路。
在李密幕府，魏征想显示一下自己的才能，接连多次给李密出主意，李密却一个都没采纳。后来李密投降了李渊，魏征也跟着一起归唐。李密因反水被唐高祖李渊捕杀，魏征在长安久不见用，“自请安辑山东”，他自己向李渊提出去河南、河北地区招降瓦岗军旧部。李渊照准，封他个秘书丞（一般文官）。魏征乘车来到黎阳（今河北浚县），一封书信便顺利说服李密黎阳守将徐世勣（李勣）归唐，——文字功夫果然了得。不幸的是窦建德接着带人攻陷黎阳，魏征成了俘虏，无奈之下屈身在窦身边做了起居舍人（秘书）。
唐武德二年（公元619年），窦建德被李世民的唐军击溃，魏征又逃回长安。太子李建成久闻魏征文字文笔精炼、足智多谋，将其延入太子府，任太子洗马（太子侍从官）。
陪伴太子李建成这一段，正是太子建成与弟弟李世民相互为皇位继承权明争暗斗最激烈的时期。虽然李渊确定了长子建成的储位，但战功赫赫的秦王李世民已渐成气候，其势力与威名较太子建成更盛。魏征敏锐地觉察到这一点，“阴劝太子早为计”，他私下提醒李建成早点着手收拾李世民。同时他分析了太子建成与秦王李世民的各自条件，指出太子唯一缺乏的就是战功。适逢窦建德部将刘黑闼二次叛唐，魏征急忙建议太子向李渊请兵讨伐刘黑闼。在太子出征的过程中，魏征又及时劝其采取怀柔政策，刘黑闼被擒杀，河北地区迅速安定。
没想到李世民先下手为强，玄武门之变，太子建成和齐王元吉被秦王射杀，魏征作为太子府的人，自然也做了秦王的阶下囚。
李世民亲自审问魏征：“尔阋吾兄弟，奈何？”你曾挑拨我们兄弟相斗，为什么？魏征没有正面回答秦王的质问，不卑不亢地说：太子要是早听我的话，怎么会落到今天的下场。李世民欣赏魏征身上的这股子傲气，——主要还是深知这个人有些见识才能。下令释放了魏征，给他了一个詹事主簿（府内文官）做。
一路走来，魏征基本上是靠文字和进言来在不同主子身边生存的，可惜遇到的都是目光短浅、不听人劝的家伙。被李世民容留后，魏征多少已经有些心灰意冷了。
过了两个月，李渊把皇位让给了儿子李世民，李世民登基做皇帝后，不记私仇，拜魏征为谏议大夫，时不时还会将其召入内廷，询问政事得失。思辨论政这是魏征的强项，“喜逢知己之主，思竭其用，知无不言。”他大有欣逢知己的感觉，竭尽其智能，痛痛快快向皇帝陈说治国理政的方略，得到了唐太宗李世民的青睐，魏征自己也由此看到了命运的曙光。
