1980年2月19日，马琳出生在沈阳市沈河区。在马琳入选中国队两年后，他的父母相继下岗。为了不影响马琳在中国队的训练，夫妻俩决定暂时对他保密。马琳父母向亲戚借了几万元，在市区里开了一家小饭馆，为了节省开支，他们既当老板，又当服务员，每天都累得腰酸背痛。
1992年，汕头一位民营企业家出资赞助组建汕头市乒乓球学校和少年乒乓球队，主教练就是刘铭水。第二年，全国少年赛上，马琳及另外几名选手均被引进到汕头，汕头队还从全国其他地方引进了多名小选手，包括刘国正、谭瑞午、张钰、李潮、丁颖。
刘铭水教练说，汕头市乒乓球学校一名运动员的训练时间至少是一天7个小时，训练量大概要比其它地区的运动员多出1/3。而马琳的训练态度非常认真，尤其是备战广东省九运会期间，训练量大，训练时间长。采用直板打法的马琳除了苦练发球外，更苦练多球来回，这需要大范围的跑动，所以他练得相当刻苦，一周就练坏一双运动鞋。
1994年，在广东省运会上，马琳一口气为汕头队拿下乒乓球单打、双打和团体3枚金牌。后来，14岁的马琳在全国青少年比赛中就夺得了他人生中第一个男单冠军。在那场比赛中，他被蔡振华教练相中，开始了他的国家队生涯。
1996年亚洲杯男单冠军，亚锦赛混双冠军，男单第三。
1997年美国公开赛男单亚军，世乒赛男双第五，亚洲杯男单冠军。
1998年亚锦赛男团、男双冠军，马来西亚公开赛男单冠军，中国和黎巴嫩公开赛男单亚军，世界杯男单第五。
1999年第45届世乒赛混双冠军（与张莹莹）、男单亚军；世界俱乐部锦标赛男团冠军，国际乒联巡回赛总决赛男双冠军；澳大利亚公开赛男单冠军。
2000年瑞典、波兰公开赛男双冠军，日本公开赛男单亚军，世界杯男单冠军，第45届世乒赛男团亚军。
2001年第46届世乒赛男团冠军，男单第三，男双、混双八强；九运会男单、男双冠军；丹麦公开赛男单冠军、男双亚军；日本公开赛男单四强、男双冠军；中国公开赛男单、男双亚军，国际乒联巡回赛总决赛男单冠军。
2002年美国公开赛男单、男双冠军，德国公开赛男单、男双冠军，波兰、丹麦公开赛男单冠军，荷兰公开赛男双冠军，国际乒联总决赛男双冠军，亚运会男团冠军，男双第三。
2003年第47届世乒赛混双（与王楠）冠军、男双（与秦志戬）四强，韩国、中国、丹麦公开赛男单、男双冠军，日本公开赛男单四强、男双冠军，德国公开赛男单亚军，瑞典公开赛男双冠军，国际乒联总决赛男双冠军，世界杯冠军。
2004年第47届世乒赛男团冠军，国际乒联巡回赛希腊站、新加坡站男双冠军、男单亚军，无锡站男单、男双冠军，总决赛男双冠军，男单亚军，雅典奥运会男双冠军，世界杯冠军。
2005年卡塔尔公开赛男单、男双亚军，中国公开赛(哈尔滨站)男双亚军，第48届世乒赛男单亚军，男双第三名(与陈^)，世界杯男单第三名。
2006年卡塔尔公开赛男单亚军，科威特公开赛男单、男双冠军，第48届不来梅世乒赛男子团体冠军，世界杯男单冠军，多哈亚运会团体冠军、混双冠军（与王楠）、男双（与陈^）亚军、男单亚军。
2007年萨格勒布世乒赛亚军，团体世界杯冠军；克罗地亚公开赛男双冠军（与王皓），卡塔尔公开赛男单冠军，科威特公开赛男单亚军，大众汽车南京公开赛男单冠军、男双亚军（与王励勤），松下深圳公开赛男双冠军（与王皓），法国公开赛的男单和男双（与王皓）冠军，德国公开赛男单亚军，国际乒联职业巡回赛总决赛男单冠军、男双亚军（与王皓），大王者杯（长沙）亚军。
2008年科威特乒乓球公开赛男双（与陈^）冠军（3月），国际乒联职业巡回赛卡塔尔站冠军（3月），中国乒乓球公开赛（长春）男团冠军（5月），日本乒乓球公开赛男单冠军（5月），国际乒联巡回赛韩国站男单亚军、男双亚军（6月），北京奥运会乒乓球男子团体冠军，男子单打冠军（8月）。
2009年科威特公开赛男双冠军、卡塔尔公开赛男单亚军。横滨世乒赛男单第三名。
2010年全国锦标赛男团决赛中，广东队凭借着马琳接连战胜王皓、陈^，以及张超在决胜盘力克陈^的表现，击败解放军队，时隔13年再夺全国冠军。广州亚运会男团冠军（马琳，王皓，马龙，张继科，许昕），男双亚军（与许昕)，2010国际乒乓球精英赛德国的不伦瑞克站男单亚军。长虹大师杯中国乒乓球总决赛男单亚军。
2011年国际乒联巡回赛斯洛文尼亚公开赛男单亚军。国际乒联巡回赛公开赛英国站男单亚军。马琳/王皓获男双亚军。国际乒联巡回赛卡塔尔公开赛马琳/张继科获男双亚军。国际乒联巡回赛阿联酋公开赛马琳/张继科获男双冠军。德国乒乓球公开赛中马琳/王皓获男双亚军。第51届鹿特丹世乒赛同陈^获得男双亚军；男单八强。2011中国乒乓球公开赛马琳/张继科获男双亚军；男单冠军。
2011年6月21日，雅居乐地产“直横大战”，由王皓、马琳和柳承敏组成的直板队，2：3不敌由波尔、张继科和马龙组成的横板队，连续第二次横板队失利。
2011年6月25日，在上海进行的2011年中国对世界联队挑战赛，由马龙、许昕、马琳组成的中国队以4-1战胜由波尔、水谷隼和朱世赫组成的世界联队。
2011年9月10日，所在的浙商银行队获得2011年乒超联赛男子团体冠军。
2011年国际乒联巡回赛奥地利公开赛男单4强。
2011奥地利乒乓球公开赛马琳/张继科双打亚军。
2011全国乒乓球锦标赛马琳/王皓获男双冠军；男单亚军。
2012年，马琳入选中国男子乒乓球队征战多特蒙德团体世乒赛阵容，再次随队获得冠军。虽然此时的马琳仍是国家队中不可或缺的一员，但由于状态已随年龄的增大而日渐下滑，马琳最终落选了同年8月的伦敦奥运会参赛阵容，但仍以陪练队员身份随队出征奥运会乒乓球比赛。
2013年第52届世乒赛，马琳在男单比赛中负于日本选手松平健太，止步第二轮；男双比赛中，他和郝帅合作，打进决赛，但负于中华台北组合庄智渊/陈建安，以一个亚军的成绩结束最后一届世乒赛之旅。
2013年12月7日正式宣布退出中国国家乒乓球队。