东晋时的朝廷安于统治江南，忙于争权夺利，无心收复北方被匈奴占领的广大地区。被占领地上的人民有家难回，苦不堪言。
祖逖和好友刘琨在司州当小吏，两人眼看着国家内忧外患，人民流离失所，不禁为国家的前途担忧。他们常常一起谈论天下大事，立志要担负起拯救民族于危难之中的重任。
他们互相勉励，决心抓紧时间，苦练本领，约定每天清晨一起起来练剑。有一次，他俩一起谈论天下的形势，一直到后半夜，两人越说越激愤，都睡不着觉。躺了一会儿，鸡就开始叫第一遍了。听到鸡叫，祖逖再也躺不住了，他对刘琨说：“听，鸡叫得多么嘹亮啊，好像是战场上的鼓声一样让人振奋，我们起来去练剑吧！”于是两人起来穿好衣服，来到院子当中，他们把满腔的激情，全部倾注在宝剑上，越练越有劲。
就这样，不论盛夏严寒，他们每天鸡叫就起来舞剑，练就了一身好武艺。
后来，祖逖向晋元帝要求北伐，元帝给了他一些给养和布匹，让他自己招兵买马。于是祖逖带着人横渡长江，他在江心用船桨打着船帮，对大家发誓：“若不收回中原，我决不再过这条江！”
祖逖在江北制造兵器，招兵买马，很快就聚集了几千人。经过了艰苦的战斗，收复了黄河以南的全部领土。
