פעילות פוליטית את פעילותו הפוליטית החל אלקין כחבר במפד"ל. לאחר מכן הצטרף למפלגת "ישראל בעלייה" ומשזו נטמעה במפלגת הליכוד הצטרף גם הוא לליכוד. למרות התנגדותו לתוכנית ההינתקות מרצועת עזה, נענה להצעתו של אריאל שרון להצטרף אליו להקמת מפלגת קדימה בתמורה לשיבוץ במקום ריאלי ברשימת המפלגה לכנסת (שובץ במקום ה-17). בבחירות לכנסת ה-17 (2006) נבחר מטעם סיעת קדימה.
במהלך הכנסת ה-17 שימש כחבר בוועדת הכספים; חבר בוועדת החינוך, התרבות והספורט; חבר בוועדה למאבק בנגע הסמים; חבר בוועדה לזכויות הילד; חבר בוועדת העלייה, הקליטה והתפוצות יו"ר ועדת משנה לקליטת ילדים, נוער וצעירים עולים במערכת החינוך.
בשנת 2008 פרש ממפלגת קדימה ושב לליכוד. בבחירות לכנסת ה-18 נבחר כ
חבר כנסת מטעם סיעת הליכוד. בכנסת ה-18 כיהן אלקין כיושב-ראש סיעת הליכוד וכיושב-ראש הקואליציה. כמו-כן היה חבר בוועדות הכנסת הבאות: יושב-ראש ועדת המשנה לענייני יהודה ושומרון; חבר בוועדת הכנסת; חבר בוועדת החוץ והביטחון; חבר בוועדת המדע והטכנולוגיה; חבר בוועדה מיוחדת לפניות הציבור; חבר בוועדת העלייה, הקליטה והתפוצות; חבר בוועדה משותפת לתקציב הביטחון; ממלא-מקום בוועדת הכספים; יושב-ראש ועדה משותפת להצעת חוק סדרי השלטון והמשפט (ביטול החלת המשפט, השיפוט והמינהל) (עריכת משאל עם); יושב-ראש ועדת הכנסת.
כניסה לממשלה לאחר הבחירות לכנסת ה-19 (2013) מונה אלקין לתפקיד סגן שר החוץ בממשלה ה-33 בראשות בנימין נתניהו. מאחר שתפקיד שר החוץ היה מצוי באופן רשמי בידי ראש הממשלה נתניהו שימש אלקין במידה רבה כשר החוץ בפועל. בנובמבר 2013 קיבל לידיו אביגדור ליברמן את תפקיד שר החוץ והאחריות על ניהול המשרד עברה לידיו. במאי 2014 סיים את תפקידו כסגן שר החוץ והתמקד בפעילותו הפרלמנטרית בכנסת, במקביל מונה ליושב-ראש ועדת החוץ והביטחון. במהלך הכנסת ה-19 כיהן גם לזמן מה כיושב-ראש הקואליציה, כיושב-ראש ועדת הכנסת וכיושב-ראש הוועדה המשותפת לתקציב הביטחון. במהלך הכנסת ה-19 היה מיוזמי הצעת חוק יסוד: הלאום, שכוונה לקבוע בחוקי המדינה את היותה של ישראל מדינה יהודית.
לאחר הבחירות לכנסת ה-20 (2015) מונה אלקין לתפקיד שר העלייה והקליטה ושר שר לעניינים אסטרטגיים, בממשלה ה-34 בראשות בנימין נתניהו. מספר ימים לאחר המינוי נאלץ להעביר את תיק המשרד לעניינים אסטרטגיים לידי גלעד ארדן ובתמורה קיבל לידיו את תפקיד השר לירושלים ומורשת. בדצמבר 2015 מונה כחבר בקבינט המדיני-ביטחוני.
במאי 2016, עם כניסתה לממשלה של מפלגת ישראל ביתנו, הועבר תיק משרד העלייה והקליטה לידי סופה לנדבר. באוגוסט 2016 קיבל אלקין לידיו את המשרד להגנת הסביבה. אחת הסוגיות המשמעותיות איתה התמודד בכהונתו כשר להגנת הסביבה היתה סוגיית זיהום ואחסון חומרים מסוכנים באזור מפרץ חיפה, דוגמת סוגיית מיכל האמוניה הנמצא במפרץ.
בנוף הפוליטי של מפלגת הליכוד נחשב אלקין לסמן ימני בדעותיו המדיניות, כך למשל הביע לא פעם התנגדות להסדר מדיני אשר יביא להקמתה של מדינה פלשתינית.