פעילות פוליטית לאחר שחרורו משירות צבאי עבד לזמן קצר ככתב בתחנת גלי צה"ל. בשנת 1977 החל בלימודי תואר ראשון ביחסים בינלאומיים באוניברסיטה העברית בירושלים, ובשנת 1982 סיימם בהצלחה.
במהלך לימודיו באוניברסיטה החל הנגבי בפעילות פוליטית במסגרת תנועת סל"ע (סטודנטים למען עם ישראל, תנועה בעלת סדר-יום פוליטי ימני). בשנת 1979 נבחר ליושב-ראש התאחדות הסטודנטים בירושלים, שנה לאחר מכן החל לכהן במקביל כיושב-ראש התאחדות הסטודנטים הארצית והחזיק בתפקיד זה עד שנת 1982.
כפעיל פוליטי בקמפוס האוניברסיטה העברית בירושלים הוביל והשתתף הנגבי בפעילויות מחאה נגד התהליך המדיני לשלום עם מצרים שהובילה ממשלתו של מנחם בגין. בתחילת שנת 1982 במסגרת המאבק נגד פינוי הישובים הישראלים מחצי-האי סיני, עמד בראש קבוצה קטנה של סטודנטים אשר התבצרה על אנדרטת אוגדת הפלדה בעיר ימית (במהלך פינוי העיר) וסירבה להתפנות. לאחר 23 יום הסכימו המתבצרים לבסוף לרדת מן האנדרטה ולהתפנות מהמקום.
בשנת 1982 השתתף כחייל מילואים בלחימה במלחמת לבנון. במהלך המלחמה הוביל פעילות מחאה בקמפוס בירושלים שכוונה בעיקר נגד פעילותם הפוליטית של הסטודנטים הערביים (שמחו נגד כניסתה של ישראל ללבנון). מחאה זו כללה גם מידה של אלימות, דוגמת שימוש בשרשראות ברזל לפיזור הפגנות הסטודנטים הערביים וכליאת רקטור האוניברסיטה בחדרו. בשל כך הועמד מספר פעמים לדין בפני ועדת האתיקה של האוניברסיטה העברית. סביב מעורבותו בתקרית אלימה אחרת בקמפוס הועמד הנגבי לדין והורשע בעבירה של תגרה במקום ציבורי.
בתפקידו כיושב-ראש התאחדות הסטודנטים הארצית היה הנגבי מעורב בפרשה שזכתה לכינוי "פרשת חברת איסתא". במסגרת הפרשה הגיש הנגבי תלונה במשטרה נגד בעלי תפקידים בחברת התיירות איסתא (שנמצאה בבעלות התאחדות הסטודנטים) וכן העיד במשפט שהתנהל נגד כמה מאותם בעלי תפקידים. בפסק הדין שנקבע במשפט קבע השופט לגבי עדותו כי מדובר ב"עדות שלא תמיד הייתה האמת העובדתית נר לרגליה". בתום המשפט דרש אחד הנתבעים כי הנגבי יועמד לדין בעבירת עדות שקר, אולם היועץ המשפטי נמנע מלעשות כן בטענה כי סיכויי ההרשעה במקרה נמוכים. פעילויות המחאה בהן השתתף, הסיקור התקשורתי שליווה אותן כמו גם יחוסו המשפחתי, הפכו את הנגבי לדמות פוליטית מוכרת הן בציבור הרחב והן בחוגי מפלגת הליכוד. כיהן כיו"ר מטה ההסברה של הליכוד וכן כעוזרו של שר התחבורה וחבר המפלגה חיים קורפו. בשנים 1986-1984 כיהן כיועצו של שר החוץ
יצחק שמיר. בשנת 1986 כאשר היה שמיר לראש ממשלה, מונה הנגבי למנהל לשכת ראש הממשלה.
חבר כנסת ושר משנת 1988 נבחר ברציפות למשך 22 שנים כחבר כנסת מטעם מפלגת הליכוד (בבחירות לכנסת ה-14 - הליכוד-גשר-צומת). בפעילותו הפרלמנטרית באותן שנים היה חבר בשורה ארוכה של ועדות בכנסת בהן: ועדת הכנסת, ועדת החוץ והביטחון, ועדת החינוך והתרבות, ועדת העבודה והרווחה, ועדה לענייני ביקורת המדינה, ועדת החוקה, חוק ומשפט ועוד. כמו-כן כיהן כיושב-ראש ועדת הכלכלה. לאחר הבחירות לכנסת ה-14 (1996) מונה לשר הבריאות בממשלה אותה הרכיב בנימין נתניהו. בספטמבר 1996 מונה על-ידי נתניהו לכהן בתפקיד ממלא-מקום שר המשפטים, במקום השר
יעקב נאמן, שנאלץ להתפטר. בדצמבר 1996 מונה לשר המשפטים, במינוי של קבע, ובמקביל התפטר מתפקיד שר הבריאות.
בתפקידו כשר משפטים היה הנגבי שותף לכמה מהלכי חקיקה ממשלתיים משמעותיים, בהם:
- חוק השב"כ, שהסדיר את פעילות הארגון, סמכויותיו ודרכי הפיקוח על פעולתו.
- חוק איסור הלבנת הון, אשר הטמיע במערכת החוק הישראלית את הכללים הבינלאומיים במאבק בהעלמות מס, הון שחור של ארגוני פשע וכדומה.
- חוק בתי המשפט לעניינים מנהליים, שהסדיר את פעולתו של בית משפט בעניינים מנהליים בין האזרח למדינה. במהלך כהונתו כשר משפטים היה הנגבי מעורב במינויו של רוני בר-און ליועץ המשפטי לממשלה ובפרשה הציבורית שנלוותה למינוי זה (זכתה לכינוי פרשת בר-און-חברון). במסגרת הביקורת נגד מינויו של בר-און נטען כי כאשר הציג הנגבי את המינוי המיועד בישיבת הממשלה יצר אצל השומעים מצג שווא כאילו נשיא בית המשפט העליון אהרן ברק תומך במינוי, טענה זו התבססה על כך כי בראשית הדיון בתשובה לשאלתו של השר אביגדור קהלני האם המינוי נעשה על דעת ראש הממשלה ענה הנגבי: "וגם הבאתי אותו לידיעת נשיא בית המשפט העליון וכמובן לידיעתו של היועץ המשפטי לממשלה שבירך על כך." בהקשר זה יש לציין כי הנגבי לא היה חייב בגילוי עיקרי שיחתו עם ברק, וכי כאמור לעיל לא אמר במפורש כי ברק תומך במינוי.
פרשת דרך צלחה בשנת 1997 פורסמה בעיתון הארץ כתבת תחקיר בה נחשף כי במהלך כהונתו כיושב-ראש ועדת הכלכלה (1995-1993), כיהן הנגבי גם כיושב-ראש עמותה בשם "דרך צלחה" אשר עסקה במלחמה בתאונות הדרכים. במסגרת עבודתו בעמותה קיבל הנגבי שכר, החזר הוצאות, רכב צמוד וטובות הנאה בשווי כולל של כ-375 אלף שקלים. תקציבה של עמותת "דרך צלחה" התבסס בעיקר על תרומות מצד חברות הדלק הגדולות בישראל, מנגד יש לציין כי בפני ועדת הכלכלה מובאות הצעות חוק וסוגיות לדיון הנוגעות למשק הדלק בישראל. בעקבות חשיפת הפרשה הועמד לבירור מול ועדת האתיקה של הכנסת. בבירור קבעה הוועדה כי הנגבי היה מצוי בניגוד עניינים ועל כן הענישה אותו בנזיפה ושלילת שכר למשך חודשיים.
בפברואר 2001 הודיע היועץ המשפטי לממשלה
אליקים רובינשטיין על הגשת כתב אישום נגד הנגבי בפרשת "דרך צלחה" (בכפוף להסרת החסינות על-ידי הכנסת). במרס 2001 הודיע רובינשטיין כי חזר בו מהחלטתו, והודעתו החדשה היא שלא להגיש כתב אישום.
שר בממשלות שרון במרס 2001 מונה הנגבי לשר איכות הסביבה בממשלת האחדות בראשותו של
אריאל שרון. במסגרת כהונתו במשרד איכות הסביבה הוביל הנגבי את חקיקתו של חוק הפיקדון על בקבוקים ומיכלי משקה וכן קידם מהלך ממשלתי להשקעת משאבים בשיקום נחל הירקון ונחל הקישון. בדצמבר 2002 מונה במקביל גם לתפקיד שר התחבורה והחזיק בתפקיד זה מספר חודשים עד לבחירות לכנסת ה-16 (2003).
בפברואר 2003 מונה לשר לביטחון פנים בממשלתו של אריאל שרון שהורכבה לאחר הבחירות לכנסת ה-16. במסגרת תפקידו זה הוביל לפתיחת מתחם הר-הבית בירושלים לכניסת יהודים. הכניסה למתחם נאסרה על יהודים על-ידי הממשלה עם תחילת אירועי אנתיפאדת אל-אקצה (2000). כמו-כן קידם תיקון חקיקה שאפשר למשטרת ישראל לנהל מאגר דגימות דנ"א (בדומה למאגר טביעות אצבעות) על-מנת לסייע לה בפענוח פשעים.
באוגוסט 2004 פרסם מבקר המדינה, אליעזר גולדברג, דוח בו מתח ביקורת על מינויים פוליטיים שנעשו שלא כדין לכאורה שערך הנגבי בכהונתו כשר לאיכות הסביבה (2003-2001). בספטמבר 2004 התפטר הנגבי מתפקיד השר לביטחון פנים, בעקבות החלטת היועץ המשפטי לממשלה,
מני מזוז, על פתיחת חקירה נגדו על בסיס ממצאי דוח המבקר. לאחר ההתפטרות מינה ראש הממשלה שרון את הנגבי לשר במשרד ראש הממשלה.
חקירת המשטרה בפרשת המינויים הפוליטיים הביאה בשנת 2006 להעמדתו של הנגבי לדין בעברות של הפרת אמונים, עדות שקר ושוחד בחירות. בשנת 2010 הסתיים המשפט בהרשעתו של הנגבי בעבירת עדות שקר ובזיכויו מיתר האישומים. בגזר הדין הושת על הנגבי קנס בסך 10,000 שקלים וכן נקבע כי ההרשעה נושאת עימה קלון.
הצטרפות למפלגת קדימה בדצמבר 2005 הצטרף הנגבי לקבוצת חברי הליכוד אשר פרשו מן המפלגה והצטרפו לאריאל שרון בהקמת מפלגת קדימה. עם פרישתו מהליכוד התפטר מחברותו בכנסת. בבחירות לכנסת ה-17 (2006) שובץ ברשימת קדימה לכנסת ולאחר הבחירות החל לכהן כחבר כנסת בסיעת המפלגה. בכנסת ה-17 כיהן כיושב-ראש ועדת החוץ והביטחון וכיושב-ראש הוועדה המשותפת לתקציב הביטחון.
כיהן כחבר כנסת בסיעת קדימה גם בכנסת ה-18 והמשיך בכהונתו כיושב-ראש ועדת החוץ והביטחון וכיושב-ראש הוועדה המשותפת לתקציב הביטחון. בדצמבר 2010, בעקבות הרשעתו בעבירה הנושאת עימה קלון נאלץ הנגבי להתפטר מחברותו בכנסת.
לאחר פרישתו מן הכנסת פנה הנגבי לפעילות עסקית פרטית, בין היתר שימש כיועץ עבור התעשיה הצבאית (החברה הממשלתית – תעש), וכן שימש כמרצה אורח בפקולטה למשפטים בקריה האקדמית אונו.
חזרה לליכוד ביולי 2012 הודיע הנגבי על הפסקת חברותו במפלגת קדימה וחזרה למפלגת הליכוד. לקראת הבחירות לכנסת ה-19 שובץ במקום ה-26 ברשימת לאחר הבחירות החל לכהן כחבר כנסת בסיעת הליכוד-ישראל ביתנו (לאחר התפצלות הסיעה היה לחבר בסיעת הליכוד). בכנסת ה-19 כיהן כיושב-ראש ועדת הכנסת, כיושב-ראש הוועדה המשותפת לתקציב הביטחון וכיושב-ראש הוועדה המשותפת לתקציב הכנסת. כמו-כן היה חבר בוועדות: ועדת הכלכלה, ועדת הכנסת, ועדת החוץ והביטחון, והוועדה לענייני ביקורת המדינה.
ביוני 2014 מונה לסגן שר החוץ, בדצמבר 2014 מונה גם לתפקיד סגן שר הבריאות.
שובץ במקום ה-12 ברשימת הליכוד בבחירות לכנסת ה-20 (2015). לאחר הבחירות מונה ליושב-ראש הקואליציה וליושב-ראש ועדת החוץ והביטחון. במאי 2016 מונה על-ידי ראש הממשלה בנימין נתניהו לשר בלי תיק, בדצמבר 2016 מונה לתפקיד שר לשיתוף פעולה אזורי. בפברואר 2017 בעקבות עתירות שהוגשו לבג"ץ בדרישה לאסור על ראש הממשלה בנימין נתניהו לכהן גם כשר התקשורת מינה נתניהו את הנגבי לממלא-מקום שר התקשורת לתקופה בת שלושה חודשים. בתום התקופה מונה איוב קרא לשר התקשורת כמינוי קבע והנגבי נותר בתפקידו כשר לשיתוף פעולה אזורי.