A los 13 años de edad, Hayley Williams se mudó de Meridian, Mississippi, a Franklin, Tennesse, donde conoció a los hermanos Farro mientras asistía a una escuela privada.[6] [7] Poco depués de llegar, Hayley comenzo a tomar lecciones de canto con Brett Manning.[8] Sin embargo, antes de formar Paramore, Williams y el bajista Jeremy Davis, junto con su amigo Lee Kimee, formaron parte de una banda funk de covers llamada The Factory, mientras que los hermanos Farro practicaban juntos después de escuela.[6] [9] La banda se formó oficialmente por Josh Farro (guitarra / coros), Zac Farro (batería), Jeremy Davis (bajo) y Hayley Williams (vocalista) en 2004,[10] con la posterior adición de vecino de Williams, Jason Bynum (guitarra rítmica).[6] Segun Williams, el nombre de la banda proviene del apellido de la madre de uno de los primeros miembros de la banda, cuando se dieron cuenta que sonaba igual que la palabra paramour en frances y significaba "amante secreto" por lo decidieron adoptarla como nombre pero con la ortografía de "Paramore".[11] Posteriormente, Paramore se presento en lugares fuera del área metropolitana de Nashville, incluyendo los festivales de conciertos Purple Door y Warped Tour. John Janick, dueño y co-fundador del sello discográfico Fueled by Ramen al escuchar algunos demos de la banda viajo a Orlando, Florida, para verlos tocar en vivo. Después de una actuación privada en un pequeño almacén, la banda firmó con el sello en abril de 2005.[12]Paramore viajó de regreso a Orlando, Florida, pero poco después de llegar, Jeremy Davis dejó la banda, citando razones personales para hacerlo. Los restantes cuatro miembros de Paramore continuaron con la composicion del álbum, cuyo nombre All We Know Is Falling fue inspirado por Jeremy. La carátula del álbum refleja el dolor de la banda con respecto a la partida de este, a lo que que Hayley explica : "El sofá en la portada de All We Know Is Falling con nadie allí, y la sombra que se va, es acerca de Jeremy y como a nosotros nos deja sentir que hay un espacio vacío."[12] Las grabaciones del álbum tardaron solo tres semanas, y antes de comenzar con la promoción, la banda integro a John Hembree para así reeplazar a Jeremy. [13] Después de 5 meses de haber dejado la banda, Davis se reitegro a esta a pedido de sus compañeros, sustituyendo a Hembree.[14]All We Know Is Falling fue lanzado el 24 de julio de 2005, y alcanzó el número 30 en la Heatseekers Billboard Chart, pero no logro entrar en el US Billboard 200. El primer single fue "Pressure", con un vídeo dirigido por Shane Drake, pero la canción no tuvo el éxito esperado. En julio "Emergency" fue lanzado como segundo single, cuyo vídeo fue nuevamente dirigido por Shane Drake, ademas de contar con la aparición de Hunter Lamb(guitarra rítmica), quien reemplazó a Jason Bynum [7] . El tercer y último single promocional fue "All We Know", cuyo vídeo consiste en un conjunto de actuaciones en vivo y escenas tras bambalinas. Tras participar en giras y festivales durante el 2006, en 2007 Hunter Lamb decide abandonar la banda para casarse, y Paramore siguió adelante como un cuarteto.El 20 de octubre de 2009 All We Know Is Falling fue certificado con el Disco de Oro en Los Estados Unidos tras vender 500 mil copias.
