简单来说，美国的州和加拿大的省都是自治实体，挑选州府/省会就像是给国家定都一样，要考量区域的均衡发展，而不是单单向经济中心进行倾斜。
从历史根源上来说，美国的州和加拿大的省都脱胎于英国的自治殖民地，在两国成型前这些地区相互独立，各有政府，互不辖制。甚至可以说，美国早期建国的时候邦联制和联邦制的斗争，就是各州要不要成为独立国家的政治角力。由此可见将它们类比为国家并非完全空穴来风。
不过在这里我认为加拿大的省会和美国的州府应该区别开来讨论，因为两国的政治体制有区别，而且加拿大的省太少，想归纳出一个规律的话，样本容量太小。
美国的州府确定时为了均衡州内各区域的利益，多考虑放到州境的中央。然而美国中部许多平原州都有一条或几条由河流组成的州界，而这些河上的河港的经济发展状况往往好过州的腹地，就形成了一种州内经济重镇位于州界上的现象。典型例子包括：圣路易斯、堪萨斯城、辛辛那提、路易维尔、孟菲斯。这几座城市都是州内数一数二的大城市，但是却都在构成州界的河流沿岸，在地图上看都是在两州甚至更多州的交界处，因此拿来做州首府并不合适。
印第安纳、俄亥俄、肯塔基三州交界地区的地图，俄亥俄河（中间和州界重合的弯曲的蓝线）构成州界线，路易维尔和辛辛那提都是其上的河港，可以说位于各自州的边界上，因为跨过河流就是另一个州。 比如说辛辛那提在俄亥俄州内可以说是偏居一隅，若选作俄亥俄州的州府并不合适。 形成这种现象的原因说来大概是在北美大陆开发早期，定位技术并不发达，同时交通网络匮乏，河流在大平原上同时扮演最显眼的地标、天然的阻隔、以及最高效的交通线的角色，所以划界靠它、运输也靠它。
从这个角度来看，将州府设在远离主要河港、湖港的州境内陆，也可以带动这些腹地的发展。这也是这种州府选择的一个重要考量，而且事实证明确实有一定效果，现在的美国中部各州的州府都已经具备了一定的规模。比如前述俄亥俄州的州府哥伦布，最初是作为规划的州府在州境中央建设的新城市，现在在州内已经和伊利湖湖港克利夫兰、俄亥俄河河港辛辛那提鼎足而三。
放置在地理中心和带动腹地发展两种思路综合起来，可以归纳为在政治经济两方面做出均衡，使得州府最好地符合州政治的中心点 的角色。东部沿海各州在美国建国后也普遍将原本位于海岸线上的州府内迁，也多有这种考量。这种例子有题目提到的纽约州的奥尔巴尼，另外还有宾州的哈里斯堡、新罕布什尔的康科德、康州的哈特福、弗吉尼亚的里士满、北卡的莱利、南卡的哥伦比亚和佐治亚的亚特兰大（其实早期佐治亚的话应该说老州府Milledgeville）等。这种迁移表现出了这样一种考量：州政治不是向于最大的港口城市倾斜，而是照顾到州境内每一寸土地上居民的利益。 这种对州本身的主体性的强调是美国联邦制运作的基石。
至于美国西部州份，因为州境内经常存在一些不宜居的区域，所以州府的选择未必是最靠近中心的，有时候会选择宜居地区的中心作为首府。有些州首府实际上是建州前的地区首府，例如爱达荷州的博伊西、犹他州的盐湖城、科罗拉多州的丹佛等，在建州前都长期是对应地区的首府，促进了这些城市的繁荣，而在建州后，州的行政中心也没有迁出。这一类的州首府通常也是州内最大的城市。再比如俄克拉荷马州的俄克拉荷马城，位置和经济状况比原有的州府好，建州后第三年被选作州府。
而没有选择首位城市作为首府的美国州份当中，有一些的州府并不靠近州的几何中心，反而靠近主要城市，这类州府通常是选址于人口密集区中心。典型例子是俄勒冈州的塞勒姆和内华达州的卡森城（内华达州早期的人口重心在内华达山下的里诺一带）。题目中提到的华盛顿州奥林匹亚也类似此类型：位于华盛顿州较宜居的西海岸地带、南北居中的地方。这种选址方法可以视作放置于州境中央的一种变体形式，本质上同样是要均衡考虑，以体现州的主体性。
俄勒冈州的州府塞勒姆位于州内最大的人口聚居区域——威廉米特谷地（Willamette Valley，左上方的浅绿色区域）的中部。从卫星图上可以看得很明显。 加拿大的情况和美国则有所不同。实际上加拿大十个省的省会当中，不在经济中心的只有少一半。而更严格地讲，可能只有新不伦瑞克省的弗雷德里克顿（继海港圣约翰成为首府）是类似美国各州迁移首府以均衡省内各区域势力的产物。题目中提到的不列颠哥伦比亚省会选址维多利亚——@王诺诺 的答案有提到维多利亚为什么成为省会——是为了抵御外敌，可能是美加两国唯一首府外迁的案例了，应该作为特例看待。
艾伯塔省和萨斯喀彻温省是从草原上直接划出来的区域（不像美国中西部很多州份建州前曾经是个地区），历史基本上是一张白纸，因此这两省省会的选择也体现了一点点的规划思维。艾伯塔省的省会选在埃德蒙顿是典型的均衡南北。萨斯喀彻温省的里贾纳则是在建省前作为西北地区的新首府规划的，稍稍搬离了原本的区域中心卡佩勒堡（Fort Qu'Appelle），可以勉强视作一个首府迁移的例子。草原省更具体一点的情况可以参考一下我的这个回答 。
除了上面所说的四个省，其余六个省的省会都是历史上的或者现在的省经济中心：魁北克城是魁北克省唯一的海港，长期是圣劳伦斯河谷地的政治经济中心；新斯科舍省哈利法克斯、纽芬兰和拉布拉多省圣约翰斯以及爱德华王子岛省夏洛特敦同样都是历史上的殖民地首府，现在也依然是省内的政治经济中心；马尼托巴省的温尼伯历史上就是区域内的贸易中心，现在作为省会还独占全省一多半的人口。多伦多的情况最有趣：最初安大略省规划了一个省会——伦敦（这也是为什么这个城市有个等级如此之高的名字），而多伦多只是伦敦建好之前安大略省议会临时性的开会地点（行在），但是后来省议会觉得在多伦多呆得挺舒服，伦敦建好了也不搬了，多伦多遂成为省会至今。
安大略省的伦敦是全球范围内除了古早的英格兰伦敦之外能找到的最显眼的伦敦。之所以起这个名字，就是因为这地方最初规划的是要当“首都”（Captial）的。 从上面提到的这些现象来看，加拿大的“省会”确实比美国的州府更类似中国的省会。毕竟像哈利法克斯、魁北克城这种，曾经就是实打实的省会。
===补充一点点===
其他答案有提到一个观点，就是防止公务员腐化堕落啊，远离喧嚣啊什么的，对此我并不认同。纵观美国五十州，虽然在荒野里建新州府的有不少，但是作为大城市被选为州府的也为数不少，比如前述的丹佛、盐湖城、博伊西、俄克拉荷马城以及类似的凤凰城等；再例如亚特兰大在美国内战后的重建时期被选为佐治亚州新州府时，是一座代表“新南方”的新兴城市。同时原本州政府在大城市的也并非全被赶出城了，比如麻州州府现在还在波士顿。由此可见，美国州府的选择谈不上避讳大城市。如果说经济中心的位置比较适中，一州的经济中心和政治中心是可以合二为一的。
转播
