ב-1982, לאחר שחרורו מצה"ל החל מרגי בעבודה כפקיד גבייה במס הכנסה. ב-1983 עבר לעבוד כחשב שכר בקריה למחקר גרעיני ואחז במשרה זו למשך כעשור. ב-1993 החל מרגי בפעילות פוליטית במסגרת תנועת
ש"ס, באותה שנה מונה לתפקיד יושב-ראש המועצה הדתית באר שבע והחזיק בתפקיד זה עד 2003. ב-2001 מונה למנכ"ל תנועת ש"ס והחזיק בתפקיד זה עד 2012.
חבר כנסת ושר
לאחר הבחירות לכנסת ה-16 (2003) הושבע כחבר כנסת בסיעת ש"ס. במהלך כהונת הכנסת ה-16 כיהן כחבר בוועדות: ועדת המדע והטכנולוגיה, הוועדה המיוחדת לזכויות הילד, הוועדה המיוחדת לבעיית העובדים הזרים והוועדה המיוחדת לפניות הציבור.
המשיך בכהונתו כחבר כנסת גם לאחר הבחירות בכנסת ה-17 (2006). במהלך הכנסת ה-17 מונה לתפקיד יושב-ראש סיעת ש"ס. כיהן כיושב-ראש ועדת הכנסת וכן היה חבר בוועדות: ועדת הכנסת, ועדת הכספים, ועדת החוץ והביטחון, ועדת האתיקה, ועדת הפנים והגנת הסביבה, הוועדה המיוחדת לזכויות הילד והוועדה המיוחדת לפניות הציבור.
לאחר הבחירות לכנסת ה-18 (2009) מונה מרגי לכהן כשר לשירותי דת בממשלתו של
בנימין נתניהו.
בכנסת ה-19 כיהן כחבר בוועדות: ועדת העבודה, הרווחה והבריאות והוועדה המיוחדת לזכויות הילד. בכנסת ה-20 כיהן מרגי כיושב-ראש ועדת החינוך, התרבות והספורט, כמו כן שימש כחבר בוועדות: ועדת העבודה, הרווחה והבריאות, ועדה לענייני ביקורת המדינה והוועדה המיוחדת לזכויות הילד.
כמחוקק היה מרגי שותף לקידומם של מספר חוקים חדשים בהם:
חוק חג הסיגד אשר קבע את יום החג כחג רשמי בישראל ואיפשר לעובדים להיעדר מעבודתם ביום זה.
תיקון לחוק חינוך מיוחד שעסק בסוגיות שונות הנוגעות לשיבוץ ושילוב תלמידים עם צרכים מיוחדים במסגרות חינוך.