Năm 1886, một nhóm công nhân của Royal Arsenal, nhà máy sản xuất đạn dược lớn tại Woolwich đã thành lập ra một đội bóng đá lấy tên là Dial Square. Những sáng lập viên chính là David Danskin, Jack Humble, Fred Beardsley và Morris Bates. Eastern Wanderers được chọn làm đối thủ thử sức đầu tiên. Trận đấu diễn ra vào ngày 11 tháng 12 năm 1896 tại Millwall, trên một mảnh đất nhỏ, kết thúc với tỉ số 6-0 đậm đà nghiêng về Dial Square với Danskin làm đội trưởng. Ngày 24 tháng 12 năm 1986, Dial Square được đổi tên là Royal Arsenal. Câu lạc bộ Nottingham Forest F.C. tài trợ cho đội những bộ đồng phục thi đấu đầu tiên, Plumstead Common được chọn làm sân nhà (năm 1988 chuyển sang sân Manor Field). Năm 1891, Royal Arsenal trở thành câu lạc bộ chuyên nghiệp và đổi tên thành Woolwich Arsenal vào năm 1893. Cùng năm này, Woolwich Arsenal gia nhập giải chuyên nghiệp Football League, bắt đầu ở Giải hạng hai, thăng hạng nhất lần đầu năm 1904 dưới quyền huấn luyện viên Harry Bradshaw.

Năm 1910, công ty sở hữu câu lạc bộ lâm vào khó khăn và phá sản, nhưng đó cũng là lúc Henry Norris đến với câu lạc bộ. Người đàn ông nhiều tham vọng này đã đánh dấu những bước ngoặt lớn trong lịch sử, điển hình là việc vượt sông Thames lên phía Bắc, lấy Highbury làm sân nhà vào năm 1913, chính thức lấy tên câu lạc bộ là Arsenal. Năm 1919, cũng nhờ những ảnh hưởng và công vận động của ông, Arsenal được thăng lên hạng nhất dù chỉ đứng thứ 5 tại Giải hạng hai. Đây là sự khởi đầu cho mối mâu thuẫn truyền kiếp giữa Arsenal và người hàng xóm Tottenham Hotspur.

Năm 1925, Arsenal bước vào một kỷ nguyên vàng son với sự xuất hiện của huấn luyện viên huyền thoại Herbert Chapman. Tên tuổi ông lúc đó chẳng hề xa lạ, dưới sự dẫn dắt của ông, đội bóng Huddersfield Town đã có trong tay cúp FA năm 1922 và hai chiến thắng tại giải quốc gia (1923-24 và 1924-25). Những thay đổi mang tính cách mạng của ông về chiến thuật, phương pháp huấn luyện cũng như việc ký hợp đồng với những tài năng lớn Cliff Bastin, Alex James... đã liên tiếp mang chiến thắng đến với sân Highbury. Từ năm 1930 đến năm 1938, Arsenal đã 5 lần vô địch quốc gia và đoạt 2 cup FA. Tuy nhiên Chapman không được chứng kiến tất cả những thành tích đó, ông mất vì chứng viêm phổi năm 1934. Bóng đá thế giới mãi mãi ghi nhận ông như một huyền thoại, với những phát minh lịch sử: hệ thống chiến thuật 3-3-4, số áo cầu thủ, ý tưởng về cup C1 châu Âu... Cũng nhờ ông, năm 1932, nhà ga xe điện ngầm Gillespie Road được đổi tên thành Arsenal, đó là trường hợp duy nhất một câu lạc bộ có nhà ga mang tên mình! Herbert Chapman được bầu chọn là huấn luyện viên vĩ đại nhất trong lịch sử bóng đá Anh Quốc.

Thế chiến thứ hai đã làm gián đoạn những năm tháng quan trọng nhất trong sự nghiệp cầu thủ của nhiều tài năng Arsenal đang ở đỉnh cao phong độ như Ted Drake, Cliff Bastin... Sau chiến tranh, huấn luyện viên Tom Whittaker đưa Arsenal đoạt 2 chức vô địch quốc gia mùa giải 1947–48, 1952–53, và một cup FA mùa giải 1949–50, nhưng sau đó câu lạc bộ chìm vào một thời gian dài suy thoái.

Suốt 17 năm từ 1953, phòng truyền thống của Arsenal không được đón thêm một danh hiệu nào. Đến tận năm 1966, khi huấn luyện viên Bertie Mee được bổ nhiệm, quá trình hồi sinh mới bắt đầu. 10 năm tại vị, huấn luyện viên xuất thân từ một nhà vật lý trị liệu này đã dẫn dắt Arsenal đến danh hiệu châu Âu đầu tiên, đó là Inter Cities Fairs Cup, tức cup UEFA ngày nay vào năm 1970, tiếp đó là cú đúp lịch sử: vô địch quốc gia và đoạt cup FA trong mùa bóng 1970-71. Cú đúp này cũng đánh dấu sự trưởng thành của một lứa cầu thủ trẻ kiệt xuất, về sau được gọi là thế hệ vàng của thập niên 1970: Charlie George, Frank McLintock, George Graham, Bob Wilson, George Amstrong...

Sau thành công đỉnh điểm đó lại là một giai đoạn nhạt nhòa, Arsenal bị thua trong nhiều trận chung kết và không có thêm danh hiệu từ năm 1972 đến 1978. Bertie Mee từ chức năm 1976, lên thay ông là huấn luyện viên Terry Neill. Ông cùng Arsenal đoạt được một chức vô địch FA sau trận chung kết kịch tính thắng Manchester United 3-2 năm 1979, nhưng không thể tiếp nối vinh quang trong những năm đầu thập niên 1980.

Sự trở lại của cựu cầu thủ George Graham trên cương vị huấn luyện viên vào năm 1986 đã đem đến giai đoạn phục hưng thứ ba cho câu lạc bộ. Arsenal đoạt Cup liên đoàn bóng đá Anh ngay mùa giải 1986-87. Mùa giải 1988-89, họ lại có dịp ăn mừng với ngôi vị quán quân Giải vô địch quốc gia, giành được ở những phút cuối trong trận đấu nghẹt thở với Liverpool F.C.. Arsenal lặp lại thành tích đó vào mùa bóng 1990-91 với duy nhất một trận thua. Dưới sự dẫn dắt của Georghe Graham, Arsenal có lối chơi phòng ngự cực kì vững chắc với bộ tứ vệ: Nigel Winterburn, Steve Bould, Tony Adams, Lee Dixon và chàng thủ môn mới đến từ Queens Park Rangers F.C., David Seaman. Chưa dừng lại ở đó, mùa bóng 1992-93, Arsenal chiến thắng ở cả League Cup và FA Cup (thắng Sheffield Wednesday 2-1, bàn thắng quyết định đến vào những phút hiệp phụ bởi Andy Linighan). Cú đúp đó cùng lần xuất hiện thứ 12 trong trận chung kết FA là hai trong số rất nhiều kỉ lục mà câu lạc bộ đã tạo ra ở giai đoạn này. Họ hoàn thành bộ sưu tập danh hiệu với chiếc cup thứ 2 trên đấu trường châu Âu: cup C2, vào năm 1994, thắng Parma F.C. trong trận chung kết với bàn thắng duy nhất của Alan Martin Smith.

Dù cùng câu lạc bộ có được nhiều danh hiệu lớn, George Graham đã có cuộc chia tay không vui vẻ khi phải ra đi năm 1995 do dính vào một số bê bối trong chuyển nhượng cầu thủ. Ba huấn luyện viên kế tiếp ông trong thời gian ngắn đã không thể tiếp tục đem đến vinh quang cho đội chủ sân Highbury.

Cuối năm 1996, ban lãnh đạo Arsenal quyết định ký hợp đồng với huấn luyện viên nước ngoài đầu tiên trong lịch sử câu lạc bộ: Arsene Wenger. Dưới bàn tay của người giáo sư Pháp, Arsenal có được sự hồi sinh rực rỡ. Những thay đổi táo bạo trong chiến thuật, cách huấn luyện, chuyển nhượng của ông, giống như Herbert Chapman khi xưa, đã tạo ra một Arsenal thật sự khác biệt. Không chỉ là một trong những câu lạc bộ có lối chơi quyến rũ nhất thế giới, Arsenal còn nhanh chóng có được những danh hiệu ấn tượng: cú đúp vô địch quốc gia và cup FA mùa giải 1997-98 và 2001-02, đoạt cup FA năm 2003, 2005. Đặc biệt là vô địch quốc gia mùa giải 2003-04 với toàn bộ 38 trận bất bại, một phần trong chuỗi 49 trận bất bại kỷ lục của bóng đá Anh. Gắn với những thành công này là một thế hệ cầu thủ siêu sao do Arsene Wenger phát hiện, đào tạo và dẫn dắt, những người đã tạo nên phong cách vô cùng độc đáo cho Arsenal: Dennis Bergkamp, Patrick Vieira, Nicolas Anelka, Marc Overmars, Thierry Henry... Họ đã lọt vào hai trận chung kết trên đấu trường châu lục, cup UEFA năm 2000 và cup C1 năm 2006 nhưng đều không có được thắng lợi.

Công cuộc trẻ hóa mà Arsene Wenger đang tiến hành tại Arsenal vẫn tiếp tục mang đến những tên tuổi mới đầy tiềm năng: Cesc Fabregas, Abou Diaby, Emmanuel Eboue... Tuy nhiên trong 5 năm gần đây (từ 2005) họ không có danh hiệu đáng kể nào, trừ cúp FA năm 2005.