קריירה צבאית
בשנת 1968 התגייס לצה"ל במסגרת גרעין הנח"ל "יעלון" אשר נשלח לקיבוץ גרופית בערבה. לאחר שנת שירות בקיבוץ בה עבד כרפתן ומפעיל דחפור, התנדב לשירות בגדוד הנח"ל המוצנח בחטיבת הצנחנים. במהלך שירותו הסדיר כלוחם ומ"כ, השתתף בקרבות מלחמת ההתשה ובלחימה בחדירות מחבלים בגבול ירדן-ישראל (באירועים שזכו לכינוי – תקופת המרדפים).
בשנת 1971 השתחרר יעלון מצה"ל בדרגת סמ"ר ושב לקיבוץ גרופית ולעבודה ברפת. במלחמת יום הכיפורים (1973) גויס לשירות מילואים בחטיבת הצנחנים 55 והשתתף בלחימה בחזית המצרית ובפרט בצליחת תעלת סואץ ובקרבות בעומק השטח המצרי. לימים סיפר כי מאורעות המלחמה היוו גורם מכריע בהחלטתו לשוב לצה"ל.
לאחר המלחמה יצא יעלון לקורס קציני חי"ר, אותו סיים בהצטיינות. בשנים לאחר מכן מילא תפקידי פיקוד שונים בחטיבת הצנחנים, ביניהם: מ"מ בגדוד 50, מ"פ בגדוד 50 ומפקד סיירת צנחנים. כמפקד הסיירת הוביל את אנשיו בלחימה בארגוני מחבלים פלשתיאים בשטח לבנון במסגרת מבצע "ליטני", מבצע "שלכת" ומבצע "מנורה".
בשנת 1979 מונה יעלון למפקד פלגת אימונים בסיירת מטכ"ל ובהמשך לסגן מפקד היחידה. לאחר מכן יצא יעלון לחופשה ללא תשלום. בשנת 1982, ערב מלחמת לבנון הראשונה, שב לשירות בסיירת מטכ"ל ועם פתיחת המלחמה פיקד על כוח לוחמים שהשתתף בקרבות בגזרה המזרחית. בסוף אותה שנה מונה למפקד גדוד 890 בחטיבת הצנחנים ולאחר מכן לסמח"ט צנחנים. בתפקידו זה האחרון נפצע במסגרת היתקלות עם כוח מחבלים בגבול לבנון.
לאחר שהחלים מפציעתו יצא להשתלמות צבאית במכללה לפיקוד ולמטה של צבא בריטניה. לאחר מכן מונה לתפקיד מפקד סיירת מטכ"ל. בתפקיד זה הוביל יעלון את לוחמי היחידה במבצע לחיסול אחד ממנהיגי אש"ף -אבו ג'יהאד בשטח טוניס. תקופת פיקודו על היחידה נחשבת למרובת הישגים מבצעיים דוגמת הפעולה בטוניס.
בשנים 1989-1990 עבר הסבה מקצועית לשריון וסיים תואר ראשון במדעי המדינה, אוניברסיטת חיפה. בשנת 1990 מונה למפקד חטיבת הצנחנים. בשנת 1992 מונה יעלון למפקד אוגדת איו"ש והועלה לדרגת תת אלוף. בשנת 1993 מונה למפקד בסיס האימונים ליחידות השדה בצאלים, ולמפקד אוגדת מילואים משוריינת. בשנת 1995 הועלה לדרגת אלוף ומונה לראש אגף המודיעין (אמ"ן). בשנת 1998 מונה לאלוף פיקוד מרכז. בשנת 2000 מונה לתפקיד סגן הרמטכ"ל.
הרמטכ"ל ה-17
בשנת 2002 מונה יעלון לרמטכ"ל. כהונתו בתפקיד זה עמדה בסימן המלחמה בטרור הפלשתיני כחלק מאירועי אנתיפאדת אל אקצא (שהחלה שנתיים לפני כן). יעלון החל בתפקידו כשלושה חודשים לאחר השלמת מבצע "חומת מגן" ובראשית כהונתו פחת היקף פעולות הטרור, בין היתר בשל בנייתה של גדר ההפרדה ובניית מערך חיסולים יעיל על בסיס שת"פ בין השב"כ לצה"ל.
בחזית הדרומית התמודד צה"ל עם ירי רקטות מרצועת עזה. תחת פיקודו של יעלון יצא צה"ל למספר מבצעים בשטח רצועת עזה אשר כללו כניסה קרקעית ותקיפות מהאוויר, אך אלה לא הצליחו לרשום הישגים משמעותיים בדיכוי ירי הרקטות. בשנת 2005 החליט שר הביטחון שאול מופז שלא להאריך את כהונתו של יעלון לשנה רביעית (מהלך שהיה מקובל עד לאותה עת). על פי הערכה מקובלת המניע העיקרי להחלטה היה התנגדותו של יעלון לתוכנית ההתנתקות מרצועת עזה שהוביל רה"מ אריאל שרון.
לאחר סיום כהונתו כרמטכ"ל מונה לעמית במכון וושינגטון למדיניות המזרח התיכון ולעמית בכיר במכון אדלסון למחקרים אסטרטגיים שבמרכז שלם. במקביל נטל יעלון על עצמו שורה של תפקידים ציבוריים בהם: נשיא עמותת שק”ל (שירותי קהילה לאנשים עם צרכים מיוחדים), יו"ר המרכז לזהות ותרבות יהודית בבית מורשה בירושלים ויו"ר חבר הנאמנים ”בשביל המחר".
כניסה לחיים הפוליטיים
בשנת 2008 הודיע על כניסה לחיים הפוליטיים והצטרף למפלגת הליכוד. בבחירות המקדימות בליכוד לקביעת רשימת המפלגה בבחירות לכנסת ה-18 זכה יעלון במקום השמיני. בבחירות עצמן (2009) זכה הליכוד ב-27 מנדטים ויעלון היה לח"כ. כאשר הרכיב
בנימין נתניהו, יו"ר הליכוד, את הממשלה ה-32, מונה יעלון לשר בלי תיק וכעבור חודשיים, לשר לנושאים אסטרטגיים. כמו כן כיהן כחבר בקבינט המדיני-בטחוני וכמשנה לרה"מ.
שר הביטחון
לאחר הבחירות לכנסת ה-19 (2013) מונה יעלון לשר הביטחון בממשלה ה-33 בראשות בנימין נתניהו. האירוע הביטחוני הבולט במהלך כהונתו היה מבצע "צוק איתן" אשר נוהל מול ארגון חמאס ברצועת עזה. ניהול המבצע על ידי יעלון, רה"מ נתניהו והרמטכ"ל בני גנץ הפך מוקד לדיון ומחלוקת ציבורית ופוליטית. עיקר הביקורת נגד יעלון הושמעה על ידי השרים וחברי הקבינט נפתלי בנט ואביגדור ליברמן, אשר טענו (בזמן המבצע ואחריו) כי ניהול המבצע היה לקוי ולא הניב תוצאות מספקות. מנגד טען יעלון כי התנהלותם של בנט וליברמן במהלך המבצע במסגרת דיוני הקבינט המדיני-בטחוני, היתה מסוכנת ומונעת משיקולים פוליטיים. בראשית 2017 פרסם מבקר המדינה דו"ח אודות מבצע "צוק איתן" ובו הצביע המבקר על ליקויים בפעולותיו של יעלון בדיוני הקבינט לפני המבצע ובמהלכו.
לאחר הבחירות לכנסת ה-20 מונה יעלון בשנית לתפקיד שר הביטחון בממשלה ה-34 בראשות נתניהו. במהלך כהונתו זו החלה עלייה ניכרת בהיקף פעולות טרור פלסטיני נגד אזרחים ישראלים, פעולות אלו שבוצעו לרוב ללא תכנון מקודם ומחוץ למסגרת ארגונית זכו לכינוי – "אנתיפאדת הסכינים". בתגובה לגל הטרור הוביל יעלון מדיניות תגובה מתונה, תוך שימור שיתוף פעולה בטחוני עם הרשות הפלסטינית ומתוך נסיון למקד את פעולות התגובה והמניעה במבצעי הטרור ולהימנע מענישה קולקטיבית לציבור הפלסטיני.
על פי פרסומים זרים במהלך כהונתו של יעלון כשר בטחון ביצע צה"ל תקיפות אוויריות בשטח סוריה שכוונו לעצירת משלוחי נשק לארגון חיזבאללה.
ב-24 במרס 2016, פרסם יעלון גינוי לפעולותיו של חייל צה"ל סמל אלאור אזריה אשר באותו יום ירה למוות במחבל מנוטרל בחברון. דבריו של יעלון זכו לביקורת פוליטית עזה מצד פוליטיקאים ממפלגות הימין ובראשם אביגדור ליברמן ונפתלי בנט. הדיון הציבורי סביב מה שכונה "פרשת אזריה" נמשך בחודשים לאחר מכן ובהתאם גם הביקורת מימין נגד יעלון.
במאי 2016 סיכמו רה"מ נתניהו ויו"ר "ישראל ביתנו" אביגדור ליברמן על הצטרפותה של "ישראל ביתנו" לקואליציה, במסגרת הסיכום נקבע כי ליברמן ימונה לשר הביטחון במקומו של יעלון. בתגובה למהלך המתוכנן התפטר יעלון מתפקידו כשר בטחון, מחברותו בכנסת ולבסוף פרש מחברותו במפלגת הליכוד.
במרס 2017 הודיע יעלון כי בכוונתו להקים מפלגה חדשה בראשותו ולהתמודד על הנהגת המדינה.
