Nació en Villa Domínguez, Entre Ríos, el 3 de septiembre de 1949 pero de chico llegó a Buenos Aires.
Se inició como jugador en Argentinos Juniors, debutando en el primer equipo en 1970. Jugó hasta 1974, año en el que se fue a Independiente de Medellín. Allí jugó hasta 1978, fecha en que dejó el fútbol debido a una lesión.
Tras desempeñarse como asistente técnico en Estudiantes de Caseros, Argentinos Juniors y Chacarita Juniors, fue entrenador de las inferiores de Argentinos 10 años entre 1982 y 1992, formando a varias de las figuras que salieron del histórico semillero del club de La Paternal.
Entre 1992 y 1994 trabajó en Chile en las formativas del Colo-Colo, y para la segunda mitad de 1994 se hizo cargo de las juveniles de la selección argentina.
Esto fue luego de haber presentado un proyecto en la AFA.
Tuvo un ciclo exitoso ganando tres mundiales Sub-20 (Catar 1995, Malasia 1997 y Argentina 2001). Además dirigió a la selección de la categoría en Nigeria 1999 llegando a octavos de final, dos Sudamericanos Sub-20 (Chile 1997 y Argentina 1999), siendo segundo en Bolivia 1995 y Ecuador 2001.
En la Sub-17 fue segundo en los Sudamericanos de Perú 1995 y Paraguay 1997, y en los mundiales de dicha categoría logró el tercer puesto en Ecuador 1995 y alcanzó los octavos de final en Egipto 1997.
Dirigiendo a la Sub-21 ganó el Torneo Esperanzas de Toulon de 1998, y como técnico de la sub-23 estuvo en el preolímpico de 2000 disputado en Londrina, Brasil.
El legado de Pekerman en las juveniles, además de los títulos ya mencionados, fue el buen juego desplegado, la disciplina y la cantidad de cracks que han tenido una carrera exitosa.
Luego de haber sido también director de selecciones nacionales, en la segunda mitad de 2003 se fue a España para ocupar el rol de director deportivo del Leganés, cargo que dejó a principios de 2004.
Para la segunda mitad de 2004 se hizo cargo de la selección mayor haciendo debutar en la selección absoluta a Lionel Messi. También en estos dos años fue subcampeón de la Copa Confederaciones de 2005 y estuvo al mando del equipo argentino en el mundial de Alemania 2006, en el que Argentina llegó hasta cuartos de final perdiendo por penales ante el local.
Luego tuvo dos experiencias en clubes y ambas fueron en México: Toluca(2007-08) y Tigres de Monterrey (2009).
En 2012 asumió como técnico de la selección de Colombia clasificándola para los mundiales de Brasil 2014 y Rusia 2018, llegando en ambas ediciones a los cuartos de final. También estuvo en dos Copas América: Chile 2015 -en la que el conjunto colombiano llegó a cuartos de final- y la Copa América Centenario de Estados Unidos 2016, finalizando en el tercer lugar.
Entre 2021 y 2023 dirigió a la selección de Venezuela.