希腊人并没有经历过多少重大的体育赛事，希腊奥组委赛事筹办的经验自然有限。无奈之下，顾拜旦一手包办了大部分的赛前准备工作，比如制定比赛规则和邀请运动员参赛。

    由于宣传不到位，参赛的运动员大多是单独行动，他们往往是自费前来。有的运动员来参加奥运会仅仅是因为他们当时刚好在雅典，或者是因公被派往雅典工作。譬如说，英国的某些参赛选手就是英国驻希腊大使馆的工作人员。组委会在当时并没有为运动员安排特定的住宿地点，他们必须自行解决吃住问题。根据国际奥委会的记载，一共有14个国家参加了第一届现代奥运会，俄罗斯和比利时临时宣布退出。

    女选手从一开始就被禁止参加比赛。在马拉松比赛结束后的第二天，一位被称作Melpomene的希腊妇女独自进行了一场马拉松比赛。她坚持跑完了全程，但她的最后一圈是在奥林匹克体育场外面完成的，因为体育场的工作人员禁止她进入体育场。事实上，Melpomene并不是她的名字，她的真名是Stamata Revithi。只是那些工作人员记不住她是谁，所以用Melpomene来称呼她。在希腊语中，Melpomene意为“灾难”。
全新的开始

    4月6日，第一届现代奥林匹克运动会正式开幕。之所以选在这一天，东道主意在纪念希腊反抗土耳其统治起义75周年这一天，80，000名观众在大理石体育场见证了现代奥林匹克运动会的诞生。希腊国王乔治一世，王后奥尔加，还有他们的儿子们也出席了开幕式。参赛运动员按照国别的不同在赛场上组队排列。康士坦丁王储发言结束之后，他的父亲乔治一世正式宣布奥运会开幕：

    “我宣布第一届奥林匹克运动会在雅典正式开幕。希腊万岁，希腊人民万岁。”

    随后，9支乐队和150名歌者唱响了奥运会主题曲。这是一首由萨马拉斯（Spyros Samaras）谱曲，诗人帕马拉斯（Kostis Palamas）填词的歌曲。1960年的罗马奥运会上，这首歌成为正式的奥林匹克圣歌。

    自此之后，现代奥运会的开幕式都沿用这个大致框架，国家元首宣布奥运会开幕，随后演唱奥林匹克圣歌。其他形式，譬如运动员入场，点燃圣火，以及运动员宣誓都是陆续补充到开幕仪式中去的。

    第一届雅典奥运会包括田径，击剑，举重，射击，网球，自行车，游泳，体操和摔跤九个项目。在所有的参赛运动员当中，雅典运动员占据了主要地位。

    第一天的比赛中，美国选手詹姆斯·康诺利在三级跳远赛中勇夺桂冠，他以13.71米成为了现代奥运会的第一个冠军。康诺利获胜后，赛场上奏起了美国国歌，美国国旗冉冉升起。此后，奏国歌，升国旗成了奥运会的固定颁奖仪式。

    比赛进行到第十一天，雅典奥运会迎来了一个高潮。为了纪念古代奥运会，顾拜旦的一位朋友迈克尔·布里尔向他建议举行马拉松比赛。马拉松赛程大约长22到26英里，起点是马拉松（雅典地名，源自腓基尼语，意为多茴香的），终点是雅典。超过一万人观看了这场经典比赛，希腊人路易斯（Spiridon Louis）以 2小时58分50秒的成绩夺得冠军。从此，马拉松运动在世界各国推广开来，路易斯被人们成为“奥林匹克之魂”。

    由于天气原因，闭幕式不得不推迟到4月15日举行。希腊皇室再一次出现在闭幕式上，会场上响起了希腊国歌。随后，乔治一世向运动员颁奖。国际奥委会对奖牌设计并没有固定的设计方案，再加上东道主认为金子太俗气，所以本次奥运会上只铸造了银质和铜质两种奖牌。冠军被授予银牌和橄榄枝花环，亚军被授予铜牌和月桂花冠，第三名只有铜牌。参赛的每位选手都得到一张纪念证书。有些运动员还获得了额外的奖品，顾拜旦的朋友迈克尔·布里尔亲手向马拉松冠军路易斯颁发了“布里尔银”杯。颁奖完毕之后，路易斯带领所有获奖运动员绕着大理石体育场跑了一圈，奥林匹克圣歌应时响起。乔治一世正式宣布雅典奥运会圆满结束。

    雅典奥运会结束之后，乔治一世和一些美国运动员要求顾拜旦和国际奥委会将奥运会举办权永久授予希腊。早在4月12日，乔治一世设宴款待奥运会工作人员和运动员。在他的讲话中，乔治一世表明了希腊成为奥运会唯一举办城市的愿望。在顾拜旦看来，国际化应该成为现代奥运会最为显著的特征之一，因此这一想法遭到了他的坚决反对。直到100多年之后，奥运会才于2004年重回发源地—雅典。