第一届奥运会在1896年4月6日开幕。这是历届奥运会举行月份最早一次。东道主之所以将开幕式选在这一天，是为了纪念希腊反抗土耳其统治起义75周年。
1894年6月经过巴黎国际体育会议协商，历史名城雅典，赢得了首届现代奥运会主办权
在开幕典礼中，演奏了一曲庄严的古典弦乐，1958年国际奥委会将它定为奥运会会歌，会歌作曲者为希腊萨马拉斯，作词者为帕拉马斯。
应邀参赛的有澳大利亚、奥地利、保加利亚、英国、匈牙利、德国、丹麦、美国、法国、智利、瑞士、瑞典和东道主希腊13个国家的311名运动员，希腊阵容最大，共230人占总数的三分之二；德国、法国各19人；美国14人，居第四位。美国选后大都来自哈佛、普林斯顿大学。他们是自行组织、自筹经费，而是抱着到欧洲观光的目的参加的。他们原以为大会在4月18开幕，4月1日到达意大利后才得知开幕日期是4月6日，因此只好放弃一切游览，赶在开幕前到达了雅典。首届奥运会东道主沿袭了古奥运会旧制无女子参加。对参加国的资格，不象今天有非国际奥委会会员国不得参加的规定。希腊向包括中国在内的世界各国发出了邀请，但绝大多数国家因对奥运会不甚了解或其他原因，都未派队出席，中国亦属此列，希腊邻国意大利曾去了一名米兰运动员，这也是意大利派出的唯一选手，大会组委会认为他是职业运动员，因此未被允许参加。
本届比赛项目有田径、游泳、举重、射击、自行车、古典式摔跤、体操、击剑和网球9个大项。原中有赛艇项目，后未举行。取消的原因有两种不同的说法，一说是气候不佳海面风大，无法进行；另一说法是无人报名，不得不孜变。
美国在这次田径赛中，显露了强大实力，获得了12个项目中9项冠军。
闭幕式上，希腊国王乔治一世向获奖运动员颁发了奖牌。当时国际奥委会尚属初创时期，对奖牌质量的成分、规格大小和图案设计等，都无严格的规定，据说，东道主认为金子俗气，奖牌只有银、铜牌两种。授予冠军的的银牌和橄榄环，亚军的是铜牌和月桂花冠，第三名则是只有铜牌。但是，为了统计上的方便，在计算这届奥运会奖牌时，仍按金、银铜三类计算。
