באוגוסט 1995 הוציאה הלהקה את אלבומה הראשון, שנקרא "מציאות נפרדת" ("הד ארצי"). העיבודים באלבום זה הם פרי יצירתם של תום פטרובר ושמוליק בודגוב והפקה מוסיקלית: תום פטרובר, רועי זוארץ, שמוליק בודגוב. ערב יציאת הדיסק התקיימה במועדון "הלילה ה-12" הופעתה הראשונה של הלהקה: תופים יהב ליפינסקי, בס: אלעד קרן, גיטרות איציק סולם ואיתן וקסלר (למשך 10 הופעות ראשונות), קלידים ערן מיטלמן. אבי סטרול הבסיסט הצטרף ללהקה מהופעתה השניה. להיטים כמו "מחפש תשובה", "אלה" ו"מי אמר לך" הושמעו ברדיו, אך לא די בכדי לתרום לפרסום הלהקה. לשירים "מחפש תשובה", "אלה", "ג'קי" ו"הזמן שלך" נוצרו גם קליפים. הקליפ לשיר "מחפש תשובה" עורר הדים רבים.
בשלב זה כבר החלה הקריירה של היהודים להתאפיין בכך שבעוד שהתקשורת לא יצאה מגדרה, מספר הולך וגדל של מעריצים הגיע להופעות שוב ושוב, בכל הארץ: נתניה, חיפה, ירושלים, באר שבע ועוד, בכמויות הולכות וגדלות.
בפסטיבל צמח ב-1998 הגיע האלבום 'מציאות נפרדת' לאלבום זהב, לאחר שנמכר ב-20,000 עותקים (כיום מתקרב האלבום לפלטינה כפולה). חודש לאחר מכן, באוגוסט 1998, יצא לחנויות אלבומה השני של הלהקה, שנקרא 'היהודים' (הגיע לאלבום זהב ביולי 2002, כיום מתקרב לפלטינה). התהליך שליווה את הוצאת האלבום הזה היה דומה לקודמו. הקהל מילא את האולמות, ואילו הרדיו, למעט התוכניות הייעודיות לרוק, לא השמיע את השירים. בלטו באלבום הלהיטים "סמי חופשי" ו"עידן האלוהים". את האלבום הפיק תום פטרובר.
בסיבוב ההופעות שנערך בעקבות האלבום השני, עזב את הלהקה הגיטריסט איציק סולם, והחליף אותו יפתח שחף (שניגן קודם לכן עם ארקדי דוכין). האלבום 'היהודים' מתקרב כיום לפלטינה אף הוא, ובשנת 1999 זכתה הלהקה בתואר להקת השנה של גלי צה"ל. ביולי 1999 פתחה היהודים את הופעתם של מטליקה באמפיפארק בראשון לציון, בשנת 2000 פתחה היהודים את הופעתם של רייג' אגינסט דה משין בארץ. בתחילת 2001 התחילה הלהקה להקליט את אלבומה השלישי, 'פחד מוות' אותו הפיק תום פטרובר. לאחר 15 חודשי עבודה יצא האלבום ב-9.7.02. האלבום כלל את הסינגל, 'תענה לי', 'ליפול' ועוד רבים.
באוגוסט 2003 הוציאה הלהקה אלבום כפול ו-DVD שצולמו בהופעה במועדון התאטרון ביפו בינואר 2003. יחד עם זאת נוצרו קליפים חדשים לשירים "מי אמר לך", "עידן האלוהים", "You've Got To Believe Me". זמן קצר לאחר מכן עזב יפתח שחף (גיטרה חשמלית) את הלהקה, הפעם החליטה הלהקה להשתדרג וללהק שני גיטריסטים למילוי התפקיד: ללהקה הצטרפו דניאל ברכר וגיא באר. את ההופעה הראשונה שלהם בהרכב עשו ברכר ובאר באמפי וואהל בת"א ב-23.8.2003.
אין ספק ש'היהודים' היא אחת הלהקות הטובות והמצליחות כיום בארץ, מתחדשת, מפתיעה ונותנת למאזינים את מה שהם הכי רוצים, רוק נקי בלי גימיקים.
