阿拉伯数字的起源可以追溯到 古印度。大约在公元前3000年，印度河流域的居民就已经采用了相对先进的数字表示方法，并使用了十进位的计算方法。这种数字系统最初可能是一种称为“哈拉巴数码”的铭文记数法，使用了十个不同的符号来表示1到9和0。
到了公元前三世纪，印度出现了整套的数字系统，其中婆罗门式数字系统是典型代表，现代数字就是基于此发展而来的。大约在公元500年前后，随着经济、种姓制度的兴起和发展，印度次大陆西北部的旁遮普地区的数学一直处于领先地位。天文学家阿叶彼海特在简化数字方面有了新的突破，他把数字记在一个个格子里，如果第一格里有一个符号，比如是一个代表1的圆点，那么第二格里的同样圆点就表示十，而第三格里的圆点就代表一百。这样，不仅是数字符号本身，而且是它们所在的位置次序也同样拥有了重要意义。以后，印度的学者又引出了作为零的符号。
大约在公元700年前后，阿拉伯人征服了旁遮普地区，他们吃惊地发现被征服地区的数学比他们先进。用什么方法可以将这些先进的数学也搬到阿拉伯去呢？后来，阿拉伯人把这种数字传入西班牙。公元10世纪，又由教皇热尔贝·奥里亚克传到欧洲其他国家。公元1200年左右，欧洲的学者正式采用了这些符号和体系。至13世纪，在意大利比萨的数学家费婆拿契的倡导下，普通欧洲人也开始采用阿拉伯数字，15世纪时这种现象已相当普遍。
因此，尽管名字中包含“阿拉伯”，但阿拉伯数字的起源实际上可以追溯到古印度，并在后来的几个世纪里，由阿拉伯人传播到欧洲，并由欧洲人将其现代化。
