Sus detractores le atribuyen maleficios y pactos con Satán. Según una leyenda, su tumba destilaba agua lo cual, junto al ruido de huesos que a veces se oía en el sepulcro, anunciaba la muerte de los papas.
Más tarde, algunos historiadores insistieron en sus contactos con el mundo árabe, ya que durante sus estudios de matemáticas en Barcelona mantuvo contactos con sabios musulmanes que lo iniciaron en la magia y la mística, y en sus pactos con el diablo, vinculando al sabio con los magnificados terrores del Año Mil.
Por otra parte, según un cronista de la época, Gerbert alcanzó fama y prestigio y llegó hasta el trono de San Pedro gracias a la ayuda diabólica. Una de las anécdotas que obtuvo gran difusión fue la de las cabezas parlantes que Gerbert se había hecho construir, una de las cuales respondía a las consultas que se le hacían.
Había sido fabricada con oro puro y en Roma se decía que Silvestre había descubierto un tesoro enterrado en el Campo de Marte -cerca del Vaticano- y que fundió el metal de una estatua para hacerse construir la cabeza diabólica que le vaticinará el futuro de su pontificado.
No obstante, es posible que la cabeza parlante de Gerbert no fuera una leyenda, ya que él fue el inventor del primer artefacto capaz de reproducir la voz. Se trataba de una especie de fonógrafo (desarrollado casi 900 años después por Thomas Edison).
Entre los discípulos más aventajados de Silvestre se encontraba Richer de Saint-Rémy; que sena su amigo y su mejor biógrafo y que intentó llevar a la práctica sus enseñanzas. Entre ambos construyeron esferas, planetarios, instrumentos musicales e incluso relojes hidráulicos.
Pero aún hay más. Silvestre II fue el precursor de una especie de sistema taquigráfico, un lenguaje en clave inspirado en una escritura abreviada que recuperó de los antiguos sabios romanos.
Se trataba de un alfabeto con símbolos y signos que ahorraba tiempo Y tenía la ventaja de ser incomprensible para los profanos en la materia.