Nieto de emigrantes puertorriqueños, Colón creció en el barrio latino del distrito del Bronx, un hecho que ha marcado gran parte de su trayectoria personal y artística, con lo que ello implica de rebeldía y trasgresión de las normas establecidas. Tras estudiar trompeta y clarinete, su admiración por Mon Rivera le llevó a decantarse por el trombón a los catorce años, y dos más tarde, en 1966, grabó su primer disco con el significativo título de El Malo.
Editado al año siguiente por la firma Fania, en este primer trabajo ya contó con la inconfundible voz de Héctor Lavoe e introdujo elementos del folklore musical puertorriqueño, en especial la bomba, mezclado con los ritmos hirientes y ásperos propios del trombón, de lo que fueron buenos ejemplos temas tan exitosos como Jazzy y I wish I had watermelon.
Junto a otros destacados músicos de origen caribeño como Ray Barretto, Bobby Valentín, Reynaldo Jorge o el propio Héctor Lavoe, participó en 1971 en la grabación del concierto de las Estrellas de Fania, considerado el evento que lanzó el movimiento de la salsa de Nueva York. Ese mismo año, su magistral interpretación del tema Piraña, compuesto por Tite Curet Alonso, le lanzó a la fama y le convirtió en uno de los iconos de dicho movimiento musical.