1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
勒让德给高斯写信说：“如果给你一堆已知的点，让你找到一个函数，尽可能的让这些点让这个函数表示出来，你怎么做？”
高斯说：“这个问题很有趣，同时，我们也应该好好研究它。”
勒让德说：“线性回归，就是让直线接近那群点，这群点尽可能接近到，在距离的分布上呈高斯分布。”
高斯说：“没错，你的意思是，除了直线以外，其他类型的函数也可以这样做吗？”
勒让德说：“确实如此。”
高斯说：“面对一群点，第一任务就是需要找什么样的函数。”
勒让德说：“一般，研究这个问题的时候往往就已经知道是什么函数了。”
高斯说：“那道也是，这种问题，在条件上已经会给出一个函数来。然后你如何去做这种逼近？”
勒让德说：“就跟对待点离线的距离有x方向的和y方向的，然后使用平方和开根号的那样子。让x方向和y方向里曲线的那个对应的切线有这样的距离。”
最小二乘法，又称最小平方法，是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。