La Imagen del Señor ha sufrido diversas restauraciones: sabemos que al menos desde finales del siglo XIX se cubrió su cabeza con cabellera natural, hasta que en 1954 le fue eliminada la misma y el escultor sevillano Manuel Cerquera le añadió un nuevo mechón tallado en el lado izquierdo. Posteriormente, en 1975 el también escultor e imaginero hispalense Luis Álvarez Duarte tallaría otro mechón de cabello, esta vez en el lado derecho, labró un nuevo juego de manos y sustituyó el maniquí antiguo por un nuevo cuerpo que le otorgó mayor esbeltez a la imagen, a lo que hay que añadir los repintes y superposición de policromías en cabeza, manos y pies realizados en diversas épocas. Tantas y tan variadas intervenciones en la talla habían llegado a ocultar casi por completo su primitivo aspecto, y no fue hasta el año 2001 cuando, con el tratamiento integral de conservación y restauración llevado a cabo por el profesor Juan Manuel Miñarro, se han recuperado sus valores plásticos, la composición y proporción general de la imagen, utilizando para ello fotografías antiguas, la recuperación en su integridad de los pies y manos originales y la eliminación de otros elementos formales añadidos, la recuperación de la policromía original, mediante una meticulosa labor de limpieza a bisturí, evitando la utilización de productos abrasivos que pudieran dañarla.
Para lograr estos objetivos se volvieron a colocar al Señor sus manos primitivas, se le labró un nuevo cuerpo en madera de cedro con las proporciones del primitivo, para devolverle el misticismo y la dinámica que había perdido. Fueron restituidos los pies originales, reforzando los zancos de los talones por razones de estabilidad de la imagen, con lo que se pudo eliminar el soporte metálico que lo afianzaba a la peana, que también se hizo nueva; también se intervino en la parte posterior de la cabellera, se cambió el sistema de sujeción a la cruz, además de haberse eliminado todos los repintes de la cabeza, manos y pies. Se dotó a la imagen de una nueva corona de espinas, acorde con sus rasgos estilísticos y un nuevo anclaje para las potencias.
La talla del Señor es anónima. No existe documentación alguna que permita averiguar la autoría de la imagen, que, por otro lado presenta unas características muy distintas de las corrientes escultóricas de la época. La atribución tradicional a la escuela granadina parece descartada por los investigadores. El profesor Juan Manuel Miñarro ha advertido de la presencia en ella de un buen número de características formales que son comunes a las obras de gran parte de los escultores de origen italiano (fundamentalmente procedentes de Génova y la región ligur) que trabajaron en Cádiz y su provincia en los dos últimos tercios del siglo XVIII, entre los cuales cabe citar a los precursores de la escuela Antón María Maragliano y su hijo Gian Battista, Francesco Galeano o Jácome Baccaro. Se basa este autor en los siguientes rasgos que presenta el rostro de Jesús Nazareno: ojos exostálmicos, modelado de la nariz, forma de las comisuras, arco del amor apuntado, bigote polícromo, pómulos marcados y mandíbula reducida.
Francisco Amores también abunda en esta hipótesis de la escuela genovesa – gaditana, pero adscribiéndola al escultor Francesco María Maggio (que castellanizado sería Francisco María Mayo): «artista nacido en Génova en 1705, establecido en Cádiz en 1739 y fallecido en esa ciudad en 1780, entre las cuales destaca el Cristo de la Piedad de la Hermandad gaditana del mismo nombre, tallado en 1754, y otros muchos Crucificados que se le atribuyen por analogía con aquél, destacando entre ellos el magnífico Cristo de la Misericordia que se venera en la iglesia de San Juan de Dios de la misma ciudad, cuya cabeza recuerda intensamente a la de N. P. Jesús Nazareno de Olivares, hasta el punto de que nos parece la obra que mayor paralelismo presenta con la imagen de nuestro estudio entre todas las que hemos podido analizar pertenecientes a la misma época. Otros Crucificados que en los últimos años se han atribuido a Maggio por diversos autores son el que con el título de Cristo de Jerusalén y Buen Viaje venera la Hermandad de los Judíos de Huelva en la iglesia de la Merced de esta ciudad, cuya procedencia gaditana está perfectamente documentada, el Cristo de la Caridad de Tarifa (datado hacia 1761) y otro de pequeño formato de la iglesia parroquial de Alcalá de los Gazules. Todos ellos comparten determinados rasgos formales, que en lo que respecta a la cabeza serían por ejemplo los pómulos marcados, el arranque de la barba separado de las patillas, el mentón limpio hasta el labio inferior, el bigote saliendo de las fosas nasales dejando visible el surco nasolabial y el tratamiento de la cabellera, surcada por multitud de finas estrías; la mayoría de estos rasgos que enumera el profesor González Isidoro están presentes en la talla del Nazareno de Olivares, por lo que cabría atribuir en principio su hechura al círculo del citado Francesco María Maggio».