Como te dicen, si renuncias a la herencia, tu parte va al resto de herederos, es decir, tu hermano. Si él también renuncia entonces sí que pasaría al siguiente nivel, tus hijos y sus hijos, si los hubiese.
Esto es así si no hay testamento o en el testamento no se dice nada. Si en el testamento aparece la figura de "sustitución vulgar" entonces sí que si uno de los dos renuncia, su parte (herencia y deudas) pasa a sus hijos. Pero lo tiene que especificar en el testamento.
Si no existe esta sustitución vulgar y lo que quieres es que pase a tus hijos, existe la opción de renuncia de herencia a favor de alguien. El problema de esto es que fiscalmente es como si aceptaras y donaras, así que se paga impuesto de sucesiones (tú) e impuesto de donaciones (tus hijos).
Cualquier renuncia se debe hacer ante notario. Si no se hace nada ante notario, la herencia se entiende como aceptada.
Si no tienes copia del testamento pregunta en el notario donde se hizo y consulta si hay sustitución vulgar. Y en cualquier notario podrás consultar opciones e implicaciones de una renuncia (la pura y simple vale unos 60-80€ y es muy sencillo de hacer). Yo hice una renuncia pura (sin testamento) y el mismo notario me resolvió todas estas dudas.