在200万年前，渤海和黄海还是陆地，在东南方向有一片隆起的山脉。1万年前，随着海平面上升和地壳运动，渤海和黄海逐渐形成，那片呈琵琶状的山脉变成了一片岛屿，就是现在的日本列岛。日本列岛由北海道、本州、四国、九州等大小300多个岛屿组成。因其处于太平洋造山地带，日本列岛地质构造极不稳定，是地震和火山频发的地区。
3万年前，这里开始有人居住，人数大约有数千人。虽然日本人的起源有很多争议，但普遍认为早期的居民是从亚洲大陆迁徙而来。最早有记录的居民叫“阿伊努人”，现如今，仍然有数万名阿伊努人居住在日本的北海道地区。
在中G的史书中，第一次有关日本的记录，出自司马迁的《史记·秦始皇本纪》，徐福为远离战国时期的征伐，骗取秦始皇的信任，渡海向东前往日本。显然，徐福一行人绝非日本人的祖先，但他们东渡以后，为那里带去了先进的技术和文化，使日本社会获得了一次质的飞跃。
西汉时期，汉武帝在朝鲜半岛设置“乐浪郡”。日本列岛居民开始通过乐浪郡向汉朝政府朝贡，公元57年，东汉光武帝向来洛阳朝贡的日本使者授予印绶，铸有“汉倭奴国王”字样。
公元2世纪以后，随着农业生产的发展，各部落开始出现贫富差距，并开始争夺土地。到了3世纪末，居住在今天日本奈良地区兴起了一个较大的国家，因为地处大和平原，所以称为大和国，并逐渐统一日本九州地区。日本进入大和国时代，就是在这个时期，日本大量学习汉朝文化，佛教进入日本。
公元592年，推古女王即位（日本历史上有多位女王），此时的日本正式将“天皇”一词取代“大王”的称号。
进入7世纪，日本开始全面学习中G唐朝制度，推动政治改革。在政府机构上，废除氏姓制，设立中央机构，地方政府分为“国”、“郡”、“里”三级；在土地政策上，废除皇室和贵族的土地所有制，将土地收归国有；在财政政策上，则借鉴唐朝的“租佣调制度”。历史上将此次改革称为“大化改新”，日本进入封建社会。
7世纪时，因日本向朝鲜半岛扩展，导致与中G发生冲突。公元663年8月，中G和日本发生了第一次战争，即“白江口海战”。此战，唐海军170战船、7000多人与日本1000多只战船、1万多人交战。唐海军依靠船坚器利、装备精良，击毁日本战船400多艘。此后，日本停止了对朝鲜半岛的扩张，1000多年里不敢踏入朝鲜半岛。
710年，元明天皇从藤原京迁往平城京（今奈良市西郊）。至794年恒武天皇又将首都迁往平安京（今京都），这段时期称为“奈良时代”。
在当时，贵族仍享有较多的特权，他们彼此之间也常因利益而互相争斗。8世纪左右，藤原氏逐渐掌握兴起，并逐渐开始掌控朝局。这个时候，各地土地兼并问题也开始越来越严重，贵族和寺院采用巧取豪夺的方式，大量吸收土地。到11世纪，全国三分之二的土地归他们所有。土地的集中，削弱了天皇的权利。大的庄园主为了抵抗官衙的管理，开始组建私人武装，以名主（名下拥有土地的人）、武士（看家护院的打手）为核心的武装组织“武士团”开始出现。之后，武士团之间又不断争斗、征服、收编，逐渐形成了控制一片区域的武士集团，首领称为领主。
此时的中央政府，贵族集团为了掌控朝局也一直在争斗。其中，藤原氏、源氏、平氏先后得势，最终源氏家族在战争中击败了平氏和天皇，取得了最后的胜利。1180年，源氏家族的首脑源赖朝在镰仓（今东京南）建立了自己的大本营（幕府），并设置“侍所”管理军事、“政所”管理政务、“问注所”管理司法。1192年，天皇授予源赖朝为“征夷大将军”称号，日本进入了军人专政的幕府时代，而天皇已经名存实亡。
进入幕府时代，武士的地位得到了明显的提升。他们逐渐摆脱了农民的身份，成为职业军人。在武士中有一个十分野蛮的公开习惯，就是“试刀”。武士可以随意地砍杀平民，而不必承担刑罚。而且，随着武士地位的提升，日本社会男尊女卑的现象越来越严重，直到今天也是如此。
1336年，日本进入室町幕府时代。一百多年后，室町幕府也已经无力控制局势，地方士族内部频繁发生弑主、背叛。1456年至1573年，日本历史上称为“战国时代”。
在纷乱的战国时代，来自尾张（今爱知县）的大名主 - 织田信长脱颖而出。1575年，他征服了20多个领国，占当时日本的一半。1582年，织田信长被自己的部将所杀。其另一个部将丰臣秀吉（原名羽柴秀吉，“丰臣”姓是后来天皇所赐）为织田信长复仇，并接管了其权力。1592年，在即将统一日本的时候，信心膨胀的丰臣秀吉再次踏上朝鲜半岛的土地，发动了侵略战争。朝鲜在中G明朝政府出兵帮助下，击败了风头正劲的丰臣秀吉。1597年，丰臣秀吉卷土重来，再次入侵朝鲜，仍以惨败收场。1598年，