בית הספר למוזיקה ע"ש בוכמן-מהטה נוסד בשנת  2005 כתוצאה מאיחוד האקדמיה הישראלית למוזיקה ע"ש סמואל רובין, החוג למוזיקולוגיה  של אוניברסיטת ת"א ותכנית ההכשרה התזמורתית של התזמורת הפילהרמונית. 

האקדמיה הישראלית למוזיקה, הגדולה והמרכזית ביחידות המרכיבות את בית-הספר,  נוסדה בשנת 1945 כסניף של הקונסרבטוריון והאקדמיה הארצישראלית למוזיקה. בין מייסדיה היו הויולן עדן פרטוש, הקומפוזיטור אלכסנדר אוריה בוסקוביץ',

הפסנתרנית אילונה וינצה והצ'לן לסלו וינצה, והכנרים אילונה פהר ולורנד ועליזה פניבש – כולם יוצאי הונגריה, אשר עלו לארץ ערב מלה"ע השנייה כתוצאה מהקמת התזמורת הפילהרמונית הישראלית.

בימיה הראשונים, מנתה האקדמיה כשמונים תלמידים ושמונה עשר מורים ונאלצה לקיים את פעילותה כדייר משנה במקלט הגימנסיה "שלווה" בצפון הישן של תל-אביב. מנהלה הראשון של האקדמיה היה הצ'לן הד"ר לסלו וינצה. כבר בשנים הראשונות לפעילותה, ידעה האקדמיה צמיחה מהירה הן במספר התלמידים והן במספר המורים. בתחילת שנות השישים כבר מנתה האקדמיה כאלף תלמידים, וכמאה וחמישים מורים.

בשנת 1951 מונה הקומפוזיטור הנודע ארנולד שנברג לנשיא הכבוד של המוסד, והקומפוזיטור והויולן הראשי של התזמורת הפילהרמונית הישראלית, עדן פרטוש, נבחר כמנהלה השני. באותה השנה עברה האקדמיה לביה"ס "תחכמוני" שברחוב ליליינבלום בדרום העיר תל-אביב. לאחר מותו של שנברג, נתמנה הקומפוזיטור, המנצח והפסנתרן היהודי אמריקני ליאונרד ברנשטיין כנשיא הכבוד השני של האקדמיה.

באותם השנים כבר זכתה האקדמיה להכרה גורפת בארץ ובחו"ל כבית-היוצר של זירת המוזיקה הישראלית, בוגריה הרבים איישו משרות בכירות בתזמורות מובילות, בתי-אופרה ידועים ומוסדות הוראה יוקרתיים בארץ ובחו"ל. ב-1970 יצאה תזמורת האקדמיה למסע קונצרטים בשבדיה, ב-1975 לדרום אפריקה וב-1978 למסע עטור הצלחות בגרמניה ובארצות-הברית. בשנת 1974 נוסדה המקהלה האורטורית ע"י המנצח אבנר איתי, ונחנך האולפן למוזיקה אלקטרו-אקוסטית ע"י יצחק סדאי.

בשנת 1977 נתמנה הפסנתרן אריה ורדי למנהל האקדמיה, וזאת לאחר שכיהן כממלא מקומו של פרטוש משך שנים רבות. בתקופתו ידעה האקדמיה תהליכי מודרניזציה והצערה מואצים ושילוב מלא באוניברסיטת ת"א. תהליכים אלו נמשכו גם אל תוך כהונתו של הקומפוזיטור יחזקאל בראון, אשר נכנס לתפקידו בשנת 1979.

בשנת 1981 התמנה הקומפוזיטור והתיאורטיקן יצחק סדאי למנהל האקדמיה והתווה את תכנית הלימודים ששימשה את המוסד משך שנים רבות. בשנת 1985 נתמנה הקומפוזיטור יוסף דורפמן למנהל האקדמיה ובשנות כהונתו נוסדו תחרות הפסנתרנים ע"ש כץ ורביעיית המיתרים ע"ש גרטלר.

בשנת 1991 מונה הכנר יאיר קלס לתפקיד המנהל. כהונתו עמדה בסימן קליטת העלייה הגדולה של שנות התשעים ממדינות בריה"מ לשעבר. בתוך זמן קצר הוכפל מספר התלמידים, ונוספו עשרות מורים חדשים לסגל ההוראה מקרב טובי האמנים והמורים שהגיעו לארץ באותן השנים. באותה תקופה נבנה המפלס התחתון של המוסד ונוספו חדרי לימוד ואימון חדשים.

הפעולה ביניהם באירוע אופראי גדול נוסף, שהתקיים במסגרת חגיגות היובל למדינת ישראל, וזאת בביצוע האופרה התנ"כית "שאול ודוד" מאת קארל נילסן, בביצוע ראשון מחוץ לסקנדינביה.באותן השנים הלך ונשלם אולם "קלרמונט", אולם הקונצרטים החדיש של האקדמיה, אשר תוכנן ע"י מעיני בשיתוף האדריכל יורם רז ונבנה בתרומתם של אנג'לה ומוריס קלרמונט – מהמסורים והותיקים שבידידי האקדמיה. האולם נחנך בשנת 1998 ברסיטל ובכיתת-אמן של הפסנתרן אנדרס שיף.

בשנת 1998 נתמנה הקומפוזיטור והמנצח נועם שריף למנהל האקדמיה. במהלך כהונתו נוסדה באקדמיה התזמורת הסימפונית ע"ש אדריאה וויקטור קרטר והושק אוסף התקליטורים ע"ש גרטלר, כולו פרי הקלטות מובחרות שנערכו באולפן ההקלטות החדש שבאקדמיה.
 

עד היום תופסות סדרות הקונצרטים הללו נדבך מרכזי בפעילות המוסד ומהוות את חלון הראווה הראשי שלו, בנתינת במה קבועה להפקות התזמורת הסימפונית, המקהלות, ההרכבים הקאמריים והסולנים המצטיינים של המוסד.

בשנת 2004 נתמנה הפסנתרן תומר לב לראשות האקדמיה. חודשים ספורים לאחר-מכן חתמה התזמורת הפילהרמונית הישראלית על הסכם שיתוף פעולה עם האקדמיה ובמהלך 2005 נחנך ביה"ס החדש למוזיקה ע"ש בוכמן-מהטה בשיתוף התזמורת הפילהרמונית. הקמת ביה"ס התאפשרה בזכות תרומתו הנדיבה של איש העסקים יוסף בוכמן ומאסטרו זובין מהטה התמנה כנשיא הכבוד של המוסד החדש. במסגרת חדשה זו הוקמה גם "תוכנית מצויינות" מיוחדת, המאפשרת לכ-100 מוזיקאים צעירים ומצטיינים ללמוד במוסד במלגות מלאות.

לרגל חנוכת בית-הספר נערך קונצרט גאלה חגיגי בניצוחו של מאסטרו מהטה בהשתתפות התזמורת הסימפונית של בית הספר והתזמורת הפילהרמונית הישראלית, שתי התזמורות ביצעו מעל בימה אחת תוכנית חגיגית מיצירותיו של בטהובן.