1922年7月15日，日本日本共产党成立，选出由堺利彦等七人组成的中央执行委员会。日本共产党的成立得到了共产国际，以及第三国际常任执行委员会干部片山潜的支持，11月，日本共产党被共产国际认可为日本支部。建党初期的《纲领草案》（《22年纲领》）提出废除君主制、再分配土地、反对日本干涉俄国内战及反对干涉中国等主张。
日本共产党当时属于非法政党。1923年6月，日本政府根据《治安警察法》对日本共产党进行第一次镇压，约80人被捕，29人被起诉。同年9月，日本政府借龟户事件再次镇压左翼运动。日本共产党内出现了认为在日本组织共产党为时尚早的思潮, 这一论调获得包括堺利彦在内的多数人支持，1924年3月日本共产党宣告解散。
1926年12月，日本共产党的部分成员决定重新组党。重建后，福本和夫成为日共意识形态领域的指导者，他批评此前主张解散党的思潮，另主张先进行理论斗争, 再进行团结。1927年，日本共产党在共产国际的帮助下通过了《27年纲领》。作为日共的第一份正式纲领，《27年纲领》强调反对侵华战争，强调日本现阶段的主要任务是进行资产阶级民主革命。同年，山川均等人创办了《劳农》杂志，形成劳农派，反对《27年纲领》。
1928年2月，日本共产党机关报《赤旗报》创刊，3月15日，日共再度被取缔，不少重要领导人被逮捕。1932年，日本共产党制定了《32年纲领》，纲领制订了民主主义革命的五个目标：推翻专制天皇统治、废除半封建的土地所有制、争取工人权益、反对一切侵略战争、争取民族自决和殖民地解放。
1928年10月，日本共产党为筹备资金策划抢劫了大森银行。1933年6月12日，在狱中的中央委员长佐野学和干部锅山贞亲突然发表了〈告共同被告同志书〉，宣布认同日本的君主制和扩张政策。尽管日本共产党中央委员会对此进行了批判，日本的左翼知识分子依然大量转向右翼思潮。1937年，日本共产党因人民阵线事件再度受到日本政府镇压。包括野坂参三在内的一批日本共产党流亡者在中国成立了包括日本人民解放联盟在内的多个反战组织，继续反对日本的战争。
1945年，日本投降，二战结束，同盟国进驻日本。美国在战后根据《开罗宣言》等方针的精神在日本推动民主改革。220余名被逮捕的日本共产党员得以全部出狱。1945年12月，德田球一、宫本显治等再次重建日本共产党。
1946年1月13日，野坂参三自中国回到日本，发文主张通过“和平而民主”的方式进行革命。1946年4月10日，日本共产党首次投入选举，取得5席日本众议院议员。
1946年8月，日本共产党领导的全日本产业别劳动组合会议已发展到一百多万会员，麦克阿瑟最初对日本工会持支持态度。日本共产党联合日本社会党在1946年下半年积极支持工人运动，并要求政府制定最低工资制，但这一要求遭到当时执政的吉田内阁拒绝。日本共产党因此联合日本社会党准备于1947年2月1日举行全国范围的总罢工。麦克阿瑟正式下达禁令禁止。到1949年的众议院选举，日共一度成长到35席。
中华人民共和国建立，美国开始扶持日本右翼势力。借朝鲜半岛危机实行镇压，勒令《赤旗报》停刊。包括德田球一、野坂参三在内的部分所感派成员流亡北京，建立了北京机关。1951年2月，日本共产党召开第四次全国协议会，决定进行反美武装斗争，组建在山村地区进行游击战的山村工作队和在城市中活动的中核自卫队。此后，所感派(是日共自1950年以后内部分裂出来的一个派系，领袖为德田球一、野坂参三、志田重男、伊藤律等人。属亲中国派，在当时日共中是主流派)又于10月前往莫斯科，在斯大林的主持下进行第五次全国协议会，制定了《51年纲领》，将武装斗争的中心任务写入党纲。
武装斗争的路线导致日本共产党遭到进一步镇压，党的组织遭到严重破坏，仅1952年一年就减少了接近7万党员。1952年，日本政府通过了《破坏活动防止法》，同时设置公安调查厅监控调查各类暴力活动，当时坚持武装斗争路线的日本共产党被严密监视。同年召开的第25届众议院选举中，日本共产党派出的所有候选人全部落选。1955年，所感派与国际派(日本共产党中自1950年以后内部分裂出来的一个派系，其领袖为宫本显治、志贺义雄、袴田里见等人, 在当时日共党内属于非主流派)在第六次全国协议会上达成和解，再次放弃武装斗争。
1956年，赫鲁晓夫在苏联共产党第二十次代表大会上发表《关于个人崇拜及其后果》，尖锐地批评斯大林。日本共产党党内的一批党员在这之后选择反对日本共产党的路线，脱离日本共产党，组建日本托洛茨基主义联盟。同时，一部分附属于全日本学生自治会总联合的学生退出，另组共产主义者同盟。
1958年，日本共产党召开第七次党代表大会，宫本显治当选为书记长，这次党代表大会总结了1950年党的分裂，认为50年问题的根源在于共产党和工人党情报局对日本共产党的干涉，反对中国、苏联等大国干涉日本共产党，并将德田球一一派此前的军事路线定性为“极左冒险主义”。
1960年，日共联合日本社会党反对《美日安保条约》，并领导安保斗争。1961年7月，日本共产党在东京召开第八次代表大会，通过新的党纲，继续批判德田球一等人此前的路线。
1972年，日本共产党下属的日本民主青年同盟发生分裂，形成以川上彻和广谷俊二为首的两个团体，最终川上彻等一百多人被停职处分。
1973年，日本共产党第十二次代表大会把其任务从建立“无产阶级专政”改为“工人阶级政权”。1976年，日本共产党通过《自由与民主宣言》，提出要走类似欧洲共产主义的道路，以区分苏联模式，同年，日本共产党在党的第十三次临时代表大会决定不再在党纲、党章中使用“马克思列宁主义”的提法，改用“科学社会主义”的提法。
1979年，日共的众议院席次增加到41席，是日共建党以来众议院席次最多的一次。日共一度有与日本社会党合作的计划，后来因为反对社会党的右倾派系而没有达成。日共与长期执政的自民党一直对立。
日本共产党在1990年和1994年的代表大会上认为, 苏联对内实行专制极权统治，对外推行俄式沙文主义，走上了彻底背离科学社会主义的道路，对苏联解体日本共产党持欢迎态度；同时也认为苏联解体将使国际共产主义运动从苏联的错误路线中解放出来，有利于各国开辟新的自主道路。指出日本共产党虽然以社会主义、共产主义为目标，但考虑日本的国情，并不能迅速就实现社会主义，要先扎根于广大国民的利益和需求，解决资本主义下的各种弊端。
日本共产党认为20世纪并没有真正的社会主义的成功例子，要在独立自主的前提下与世界各国共同探索如何实现真正的社会主义。日本共产党不会去效仿某些自称是社会主义的国家，而是要在科学社会主义的指引下，在全面继承和发展自由和民主的基础上，最终实现“日本式的社会主义”。
日共还指出，五种社会形态理论最初只是马克思对西欧历史的总结，马克思和恩格斯并没有将其历史唯物主义当作一把连接各个时代和各个社会的“万能钥匙”，反而是一再强调，这一理论并不能简单作为适用于任何社会的“普世历史哲学”，是斯大林将其生搬硬套到了整个世界历史中，苏联也并不符合五种社会形态理论中的任一种社会。
1996年日本众议院议员总选举中，日本共产党取得了26个议席。1996年日本更改选举制度为单一选区两票制之后，日共在单一选区获得席次的可能性变小。
2000年11月，日本共产党在第二十二次代表大会上修改党章，删除了“先锋政党”等表述，大会决议案继续提及“自卫队违反宪法”，但基于“分阶段取消自卫队”的立场承认“在发生紧急非法侵犯主权、大规模灾害等必要场合，为保卫国民安全而灵活使用现存的自卫队。此次大会上还选举了不破哲三担任议长，志位和夫担任委员长。
由于部分日本选民对民主党政权的失望，在日共数十年来坚定反对自民党的政治立场下，日共支持度上升，2014年众议院选举中由8席上升至21席，比例代表区得票率更创史上新高，达到11.4%，同时也成功获得1个单一选区席位（冲绳县第一选区的赤岭政贤，上一次是1996年），并在2017年众议院选举保持同一区域席次。
在2012年之后，民主党下野，日本重回自民党一党独大格局，在野党之间亦因为理念南辕北辙，无法达成合作。到2015年，日本多个在野党反对安保法案，日本共产党亦参与其中。虽然法案最终仍然通过，但后来多个在野党与共产党开展了在选举上的合作，以反对安倍晋三执政为目标。
2022年7月15日，日本共产党建党100周年。
2024年1月，在静冈县热海市召开的党大会上，田村智子被选举为新的委员长，接替志位和夫，而志位和夫则接替了不破哲三卸任后一直空缺的议长职位。
2004年，日共制订了新纲领，主要内容包括：保障社会福利预算、废除美日安保条约、废除政党助成制度、修宪以巩固民主主义（但共产党不属于通常意义的“改宪派”，反对修改现有的宪法第9条）、坚持并发展议会民主、三权分立、保障LGBT与少数族群的权利、反对国家主义、要求俄罗斯归还南千岛列岛（俄称南库里尔群岛）、主张竹岛（韩称独岛）及尖阁诸岛（钓鱼岛及其附属岛屿）是日本领土。日共和日本社会民主党同时也是强烈支持立法消除存在于日本社会的种族歧视的两个主要日本政党。
近年日共积极转型，除了主张天皇制之存废须由国民决定外，日共主张加强与在野党合作以对抗自民党。
2019年，日本共产党修改党纲，批评中华人民共和国对亚洲各国的态度是大国主义、霸权主义，侵害西藏、新疆、香港等地的人权，无法承认中共是以社会主义为目标。与此同时，香港出现反修例运动，日共亦公开谴责中共和港府以武力镇压香港示威者，并要求中华人民共和国当局以和平解决局势为己任。2021年中国共产党庆祝建党百年时，日本主要政党中唯有日共未向中共发贺电。
日共与中共一直存在来往，但日共因二战后的因素受苏共影响更深。1998年，日共干部会委员长不破哲三访华，使得两党关系正常化。2005年，中共派出了青年干部访日团，与日共开展了理论交流。
日本共产党的组织原则为民主集中制，该党认为“通过党员意识和严格的纪律来实现全党的统一和团结，是党的生命所在，也是党取得胜利的保证”。
根据日本共产党规约第12条，日本共产党以职场、社区、校园中建立的党支部为最基本的组织单位，总体组织结构为：党支部—地区支部—都道府县支部—中央总部。
根据日本共产党规约第16条，各级党组织负责执行上级党机关的决定。如果党组织认为上级党机关作出的决定不恰当，可以提请上级党机关予以改变。上级党机关再次要求执行的，党组织应当保留意见执行。
日本共产党大会是该党的最高权力机构。
