En el 2000, fue nombrado Maestro de Jazz del Fondo Nacional para las Artes, el galardón más alto conferido en este género en el país. El músico cultivó su amor al jazz en la década de 1940 en Indianápolis, donde creció. Según un artículo publicado en 2008 en el periódico The Indianapolis Star, Baker solía colarse en diversos clubes donde escuchaba la música que lo condujo al jazz.
En una entrevista concedida en el 2007 a la Asociación Nacional de Educación, que la difundió en su página de internet, el músico hizo un reconocimiento a quienes fueron sus maestros.
“Estaba rodeado de música. Nadie en mi familia sabía música, pero asistí a una secundaria a la que solo iban alumnos afroamericanos en Indianápolis llamada secundaria Crispus Attucks”, señaló Baker. “Todos los maestros en ese plantel nos protegían. Hacían que no nos metiéramos en problemas y nos exponían buena música”, añadió.
El compositor obtuvo su licenciatura y maestría en Educación Musical en la Universidad de Indiana en 1953-1954. Fue un trombonista talentoso y cambió al chelo después de lesionarse la quijada en un accidente automovilístico.
Reanudó después la ejecución del trombón y tocó el instrumento en el álbum Living Time del pianista Bill Evans que salió al mercado en 1972. Baker actuó en Estados Unidos, Japón, Australia, Nueva Zelanda y Europa. En este continente participó en la gira que hizo en 1960 la gran banda de su amigo de toda la vida, Quincy Jones.
También trabajó con las bandas dirigidas por Stan Kenton, Maynard Ferguson y George Russell. Cofundó la Orquesta Smithsonian de Obras Maestras del Jazz, de la que fue su director y director musical de 1990 al 2012.
Su acervo de obras incluye más de 65 grabaciones y 70 libros sobre jazz y música afroestadounidense. Dio clases durante décadas en la Universidad de Indiana, donde fue director del programa de estudios de jazz de 1968 al 2013.
Un colega lo describió como un maestro influyente. Entre sus estudiantes están destacados músicos de jazz como los trompetistas Chris Botti y Randy Brecker, así como el saxofonista Michael Brecker. “Su influencia se extendió a la enseñanza de la música de jazz en el mundo”, dijo Tom Walsh, actual director del programa de estudios de jazz.