Lánzate nomás a verlo, cuando uno sigue el manga se da cuenta del relleno, pero es subjetivo.
Un amigo empezó hace como un año, le comenté que en algún momento el ritmo del anime se iba a poner pajero y ahí se saltara al manga, pero terminó poniéndose al día y no le afectó ese cambio de ritmo.
Si bien el anime es lento, tampoco es para tanto, en la actualidad es 1 cap de anime x 1 cap de manga salvo excepciones y los primeros arcos son más agiles ( 1 cap de anime x 2 cap del manga aprox ) ya que el anime y el manga se tenían más distancia.
No le tengai miedo, estás en el mejor momento para empezar.