不久，张自忠奉命移驻丰台。当时丰台已为英军盘踞多年。张自忠率部到达丰台时，英军不准其进入，双方发生争执。那时候的许多中**人，在外侮的积威之下，对洋人不免是“闻鸣镝而惊心，对弯庐以屈膝”，但张自忠血气方刚，硬是派一个连强行进驻车站。英方派人前来交涉，张自忠说：“丰台车站是中国的领土，中**队在自己的领土上执行任务，外国无权干涉：”英军见交涉无效，就武装包围了丰台车站，向我军射击，气焰嚣张。张自忠当即命令车站守军：“他不犯我，我不犯他，他若犯我，坚决消灭他!”守军根据张的命令，一面从正面还击敌人，一面派出一个班突袭敌后，英军不支，被迫撤退。但驻守铁道的英军仍不准我军士兵携带武器，致使双方再起冲突。这次英军派遣一位中国人为代表前来谈判，要求中**队撤兵。张自忠义正辞严：“这是中国的领土，不是英国的地盘，撤退的应该是他们!”一句话说得来人哑口无言。英军见碰上了强硬的对手，只好认输。从此，被英军盘踞多年的丰台车站重新回到中国人手中。
“勇于私斗，怯于公战；内战内行，外战外行。”这是对那些热衷于国内混战，而惯于对外妥协的军阀们的生动写照。而张自忠第一次与洋人接触，便显示了铁骨铮铮、不畏****的本色。时人评论说：“张自忠以他平时的人格的修养，独能以不屈不挠的态度，应付他们，较之当日的统兵大员，已觉出人头地一等。”
初露锋芒
中原大战
二次“北伐”后，西北军的实力得到扩张，成为蒋、冯、阎、桂四大军事集团中兵力最为雄厚的一个。这自然引起蒋介石的嫉妒。为削弱冯、阎、桂各系军队实力，蒋介石以减少军费负担、从事经济建设为名，提出裁军问题。1929年1月1日，蒋介石主持召开编遣会议，强行确定全国设立8个编遣区，其中4个由自己控制。蒋介石还规定，全**队的一切权力收归中央；各军原地静候改编；各集团军无权自行调动和任免军官。这种做法引起冯、阎、桂各派的强烈不满。冯、阎、桂各系遂组成反蒋联军，武力倒蒋。1930年5月，中国近代史上规模空前的军阀混战——蒋冯阎中原大战爆发了，双方投入的兵力高达130万人。此时，张自忠任第6师师长，编入张维玺统领的南路军。5月初，南路军首先在平汉线向蒋军开战，拉开了中原大战的帷幕。5月中旬，当张自忠指挥第6师进抵许昌十五里店时，此地已为蒋军徐源泉部占领。因十五里店是双方必争的战略要点，张维玺严令张自忠限期夺回。张自忠遂指挥所部乘夜暗发起猛攻，势如疾风暴雨，一夜之间克复十五里店。6月中旬，第6师将蒋军丁治磐部击退，得到孙连仲部支援后又转守为攻，猛烈出击，蒋军抵挡不住，全线溃退至漯河一带。此时，南路军如乘胜南追，直趋信阳，战局将十分有利。但冯玉祥顾虑蒋军主力从豫东发动进攻，故将张自忠等部由平汉线转用于陇海线，支援东路军。到达陇海线战场后，张自忠奉命向蒋军左侧攻击，在杞县、太康之间的高贤集与蒋军精锐张治中之教导第2师相遇。这两位姓氏相同，名字相近，且被许多人误为一人的名将，随即展开了激烈的对攻战。教导第2师是蒋介石聘请的德**事顾问团精心训练出来的两个“近卫师”之一，编制整齐，拥有当时中**队最先进的装备。张自忠针对敌军装备精良的特点，指挥第6师发起突然猛烈的攻击，奋勇接敌，与之展开近战，发挥刺刀、手榴弹和大刀的威力，使敌军重兵器无法发挥作用。经反复拼杀，终于将敌击溃。蒋军其他各部也因不善白刃战，伤亡惨重，纷纷向南溃退。张治中部奉命担任掩护。张自忠指挥第6师乘机追杀，再歼其一部。教导第2师经此一役，元气大伤。作战中，张自忠勇猛果断，指挥若定，显示了大将之才。他的参谋长张克侠评价说：“其决心坚强，临危振奋。每当情况急迫之时，辄镇静自持，神色夷然。”
反蒋联军当中，虽然西北军屡有胜绩，但桂军与晋军均作战不力。桂军方面，李宗仁于5月下旬挥师入湘，但遭到蒋军反击，7月撤回广西。津浦线方面，晋军节节败退，连丢曲阜、泰安、济南。济南之失对战局影响尤大。阎锡山见战局不妙，即开始图谋自保，甚至断绝了对西北军的粮弹供给，致使西北军陷入孤军苦战。
9月18日，一直坐山观虎斗的东北军统帅张学良宣布放弃中立立场，通电拥蒋，随即挥师入关，占领华北。战局急转直下，反蒋联军败局已定。西北军一部被迫缴械；吉鸿昌、梁冠英、焦文典、葛运隆、孙连仲等部相继投蒋，接受改编；庞炳勋、孙殿英、刘春荣等部脱离西北军，自由行动。冯玉祥眼看众叛亲离，山穷水尽，被迫渡黄河北上。
中原大战结束时，张自忠的第六师除了配属粱冠英的第十七旅随梁投蒋外，尚有第十五、十六旅一部和手枪团大部，约5000人，是西北军残部中最完整的部队之一。
西北军的土崩瓦解，使张自忠同其他将领一样面临着何去何从的选择。当他听说冯玉祥已经北渡，即带领第六师由郑州渡河北上。恰在这时，蒋介石派飞机给他空投委任状，任命他为第二十三路军总指挥，但张自忠拒绝投蒋。他对部下说：“我们做军人的，很要紧的就是忠诚。现在西北军失败了，很多人背叛了冯先生，但我张自忠不会这样做。”第六师随即渡河北上，进入蒋军尚未控制的山西省。
张自忠自1916年加入第十六混成旅，至1930年西北军失败，追随冯玉样14年。这期间，他埋头苦干，转战南北，由一名差遣依次递升，成为西北军的一员高级将领。他的从军较之同辈要晚四五年之久，却能后来居上，这一方面是他努力奋斗的结果，同时也与冯玉样的慧眼识人、大力栽培有关。
正因如此，张自忠的命运紧紧地同冯玉祥联系在一起。十余年间；他与冯玉样同呼吸，共命运，一荣俱荣，一损俱损。西北军最初脱胎于北洋军，尔后逐渐从军阀行列中游离出来，表现了革命的倾向。反段护法、讨伐张勋、首都革命、五原誓师、参加北伐，都是西北军史册上精彩的段落；然而，随着冯玉祥的立场转变，西北军又陷入争权夺利的无义混战。这一系列行动，张自忠基本上都参与其间，个中是非功过，也都应有他的一份。这是由他的地位所决定的。
西北军的失败葬送了一大批将领的政治前程。但张自忠是幸运的，他仍掌握着数千人的部队，这成为他谋求新的政治生命的基础。从此，一种不同于西北军时代的新生活开始了。
长城会战
1930年10月上旬，张自忠率部进入山西。在他前后入晋的西北军将领还有刘汝明、张人杰、吕秀文、童玉振、孙良诚、宋哲元、秦德纯、赵登禹、张维藩等人，各部合计约六七万人。
11月中旬，******三届四中全会在南京召开。关于北方军事善后问题，蒋介石决定将晋军和西北军残部改编为边防军，由张学良负责改编，并归其节制。张北返后即着手改编，确定将西北军残部改编为一个军。
在入晋的西北军诸将领当中，以宋哲元资望最高。宋哲元字明轩，山东乐陵人，是西北军五虎上将之一。冯玉祥对他十分赏识，称赞他“勇猛沉着”，“忠实勤勉”，“遇事不苟”，“练兵有方”。为收拾残局，宋哲元派萧振瀛、秦德纯等人同各方联络。张自忠对宋颇有好感，愿意拥戴宋哲元为军长，并推荐好友冯治安为师长。由于第六师在各残部中是装备整齐的劲旅，因此张的态度举足轻重。
1931年1月16日，西北军残部正式编成东北边防军第三军，宋哲元任军长，秦德纯、刘汝明任副军长，冯治安任三十七师师长，张自忠为三十八师师长。同年6月，南京政府开始整编全国陆军，第三军改番号为第二十九军。
二十九军改编一就绪，张自忠就投入了艰苦紧张的练兵工作。虽然粮饷不足，处境艰难，但张自忠的精神并未馁丧，因为艰苦对他来说早已习以为常。1931年夏，国民政府财政部长孔祥熙北上考察华北政务，便道归晋扫墓。宋哲元特派张自忠请其检阅三十八师。孔祥熙所得印象是：“卒伍整饬，无矜气，无怠容。”
中原大战的失败对于张自忠犹如一次脱胎换骨。西北军惨遭败绩、冯先生下野隐退固然令他难过；但同时他也敏锐地意识到，中原大战的结局为避免自相残杀、断送国脉的无益内战的重演提供了可能。作为一个爱**人，他多么渴望全国的军人能够团结一致，枪口对外，为捍卫祖国而效力!
因日本军队向关内侵略，张自忠杀敌报国的愿望提前实现了。
九一八事变后，日军占领东三省，并于1932年拼凑了伪满洲国。但日本军阀并不以此为满足，复于1933年开始了新的侵略扩张。这次扩张的目标就是与东三省毗邻的热河省。
1933年元旦之夜，日本关东军突然向天下第一关山海关发动攻击，3日占领山海关，取得了进攻热河的有利态势。
1933年2月21日，日本关东军以第六、第八师团，独立混成第十四、第三十三旅团和骑兵第四旅团等部为主力，并纠集伪满军张海鹏等部约10万人，在关东军司令官武滕信义指挥下，兵分三路进攻热河。热河省主席兼第五军团总指挥汤玉麟部连同义勇军不下10万人，或逃或降，一触即溃。汤玉麟本人以200辆汽车装运私产，逃往天津。3月4日，日军先头部队128人不费一枪一弹，耀武扬威地占领了热河省会承德。
热河在短短十余天里竞被日军全部占领，举国上下为之震惊和愤慨。张学良被迫辞职，遗职由何应钦代理。
宋哲元虽为第三军团总指挥，但所辖只有一个二十九军。该军扩编后兵力有所增加，但武器装备仍极为低劣，全军只有野炮、山炮10余门，重机枪不过百挺，轻机枪每连只有两挺。步枪多为汉阳造和38式，还有一些老毛瑟枪和土造枪。由于枪械陈旧，型号不一，弹药补给十分困难。根据西北军的传统，二十九军给每位士兵打一把大刀，并多制造一些手榴弹，以资弥补。
1月10日，二十九军主力奉命由山西阳泉开赴通州、三河、蓟县、玉田待命。
这是张自忠有生以来第一次同日军交战。部队出发前，他召集全师营以上干部开会，作战前动员。他慷慨激昂地说：“日本人并没有三头六臂，只要我们全**民齐心协力，与日寇拼命，就能将日寇打出中国去。国家养兵千日，用兵一时，为国捐躯，重如泰山!”他还要求部队特别注意两点：第一，要与当地老百姓打成一片，不动老百姓一草一木；第二，战斗中要节省子弹，不瞄准敌人不准打枪。
3月4日承德失陷后，二十九军奉命赴冷口策应万福麟部作战。不料，二十九军正行进中，万福麟部已败退至喜峰口附近。鉴于敌情变化，华北当局改变计划，令二十九军迅速赶赴喜峰口阻敌，冷口防务交商震部接替。宋哲元即命赵登禹率一o九旅先头出发，其余各部跟进。
3月7日，张自忠与冯治安抵达遵化三屯营。此地距喜峰口30公里，张、冯在此设立二十九军前线指挥所，就近指挥前方作战。在与冯治安、赵登禹商讨作战计划时，他鼓励他们说：“人生在世总是要死的，打日寇为国牺牲是最光荣的。只要有一兵一卒，我们决心与日寇血战到底!”冯、赵二人甚为赞同。
喜峰口，位于河北省迁西县北部燕山山脉的中段，是万里长城的一个重要关隘，也是塞北通往京都的交通要冲。这里山屏耸秀，层峦叠峰，险山深谷，绝壁危崖，构成天然之险。进攻喜峰口的日军为独立混成第十四旅团和第八师团第四旅团及伪满军一部，共3万余人。3月9日上午，日军先头部队攻占喜峰口东北制高点孟子岭，以火力控制了喜峰口，形势对我极为不利。
9日午后，赵登禹率一o九旅抵达喜峰口。日军亦源源增兵，双方展开激烈遭遇战。经过两天连朝接夕的交战，我军虽然顶住了日军的攻势，却未能克复孟子岭高地，处境仍然被动。张自忠感到这样与敌人硬拼消耗终非善策，于是同冯治安、赵登禹商议，决定组织大刀队对日军实施大规模夜袭。
11日夜，王长海率领二一七团，赵登禹、董升堂率领二二四团，李九思指挥二二六团杨干三营，分路夜袭敌营，大获成功，杀敌上千人；一一o旅乘机发起正面攻击，有力地牵制了敌人。杨干三营尖兵排士兵李大兴还缴获了一架极为珍贵的高倍望远镜。张自忠拿到这架望远镜，稍加端详，即喜形于色地说：“这是指挥炮兵射击用的十二倍望远镜，我们花钱也买不到。”他当即叫人取重金奖赏李大兴。
15日一早，张自忠由三屯营亲临喜峰口前线，视察阵地，慰劳官兵。他将全国民众送来的钱物一一分发给大家，以示犒劳。针对视察阵地中发现的问题和自己的作战经验，他向各旅、团长下达了五条指示
这些指示，是张自忠在总结长城抗战打响以来的经验教训的基础上提出的，体现了他最大限度地保存自己、消灭敌人和积极防御的一贯作战思想。佟泽光旅长说：“我们一一执行了张师长的指示，在以后的战斗中，确实避免了不必要的伤亡。”
二十九军在喜峰口一带固若金汤的防御，使日军志气馁败，他们见雷池不可逾越，遂将主攻方向转到罗文峪方面。
鉴于罗文峪守军暂编第二师只辖3个团，兵力薄弱，张自忠、冯治安决定将三十七师刘景山二一九团和三十八师祁光远二二八团调往罗文峪方面，归刘汝明师长指挥。战斗结果，日军再遭败绩，狼狈撤退。
在保定的蒋介石得到二十九军捷报，喜不自胜，特电宋哲元、张自忠赴保一晤。19日，宋、张、冯三人赴保谒蒋，受到盛情款待。据说，蒋“神情欢愉，面有喜色”。这是张自忠第一次与蒋介石见面。
但长城抗战最后以失败告终，这个结局决非偶然。因为蒋介石此时的主要注意力仍放在“围剿”******和红军上，故有意将长城抗战限制在一定规模之内，而不愿增派后续部队；再者，长城抗战本身是一种分兵把口的线式防御，这种防御的稳固程度取决于最薄弱的环节，而不是最坚固的环节。所以二十九军的出色表现并不足以挽救长城抗战全盘失败的结局。由于日军从冷口突破商震部防线，攻入长城以内，继而占领迁安，二十九军陷于腹背受敌、孤立无援的境地，被迫放弃喜峰口、罗文峪阵地，向西南方向退却。国民政府加紧向日军谋求停战，最终被迫同日方签订了屈辱的《塘沽协定》。该协定在事实上承认了日军对东三省的占领，并使察东、冀东成为日军可以自由出入的地区。从此，长城即为国境，平津化为边塞，华北的冀、鲁、晋、察、绥五省全部暴露于虎口之下。
张自忠认为，二十九军之所以能够用低劣的装备打退日军几十次猛攻，并歼灭日军5000多人，除以攻为守约战术原则和注重野战工事的构筑等因素外，主要得益于全军同仇敌忾的战斗精神。张自忠将其归纳为四点：
具和睦无间之精神，全军上下一心一德，藉收指挥单应之效果者一也；抱绝大牺牲决心，冒死争先，有进无退，足以沮丧敌人之斗志者二也；持坚忍不拔之毅力，苦撑于危急震撼之际，而卒赖以战胜困难环境者三也；绝对守军纪不扰民，造成武力与民众结合，为战事有效之援助者四也。