杨振宁当然欣然悠游于普林斯顿的学术象牙塔，但是正如他自己说的，象牙塔毕竟不是整个世界，为建造一所新的大学而出力，这种挑战是令人兴奋的。
除了建造一所新大学的兴奋挑战，另外击中了杨振宁个性中浪漫情怀的一个原因，也许来自他和石溪这个地方超乎寻常的一种机缘：先是1953年冬天无意间的初次邂逅，1965年又有落日美景的惊鸿一瞥，而那时候他离开中国已经有20年之久，在美国这块土地上不知不觉间根也扎深了，他几经挣扎在1964年入了美国籍，心理上也自然地有了在石溪这个地方建立常住久居家园的想法。
石溪的学校当局也费心协助杨振宁寻找合适的住处。经过一段时间，他们终于在石溪北方靠海边一个印第安名字叫做赛塔基特的地方，找到面对长岛海湾的地点，杨振宁特别请了一位建筑师设计盖了一栋相当大而且漂亮的房子。石溪的校长也是杨振宁老朋友的托尔就说，在选择住家房子地点的这件事情上面，杨振宁所展现的做事情的一个风格，正如同他解决物理问题是一样的：他不只是解决问题，而是要以其独特的方式得到最优美而有效的答案。杨振宁开始要在一个全新的校园里，创建理论物理研究所，他深知挑战的巨大，而最重要的就是要找来最好的人才。
石溪原来就有庞德和德内斯登两个非常有科学识见和雄心的物理学家，经过杨振宁的努力，又请来他1960年在普林斯顿认识的年轻、优秀韩裔物理学家李辉昭，以及和他在普林斯顿同事多年，杨振宁认为有非常好的物理直觉的一流物理学家布朗。这些物理学家，以及后来许多和杨振宁惺惺相惜、对杨振宁物理风格欣羡仰慕的物理学家的加入，使石溪理论物理研究所终于在世界物理学的版图中，占有了一席地位。
布朗曾经回忆起他来到石溪的经过。他说1967年杨振宁回到普林斯顿做一次短期的访问。有一天杨振宁来到布朗的办公室，邀请他到外面的树林子里去走一走。那个时候布朗在普林斯顿已经建立起世界上最顶尖的核物理理论研究团队，而石溪在核物理方面才刚刚起步。但是他被杨振宁的科学视野吸引，加上非常仰慕杨振宁，所以1968年便由普林斯顿辞职到了石溪。布朗说：“这是我一生中许多好的决定当中最好的。”
对于请人到石溪理论物理研究所来，如同托尔校长说的，杨振宁是有着一个很严格的标准的，但是杨振宁的标准却并不是以他个人做研究的喜好和方向为准则。譬如说他虽然非常推崇李辉昭在物理科学方面的鉴赏力和洞察力，但是李辉昭做的工作却不是杨振宁喜欢的那种口味。此外，后来接替杨振宁做石溪理论物理研究所所长的纽文豪生，虽然也是杨振宁在70年代中期请来的，但是纽文豪生成名之作的所谓超引力理论，事实上也并不是杨振宁特别研究的方向。
杨振宁从普林斯顿到石溪去，其实中间的一个原因，也是因为普林斯顿高等研究院是一个纯粹的学术研究象牙塔，并没有学生，所以他想，到了石溪的理论物理研究所以后，可以有一些研究生，或许也是一个好处，他说起这件事情的想法：“带研究生也许可以算是一个贡献，或者说是一个乐趣吧？”语气中似乎还是带着一些疑问的。
事实上杨振宁自己做科学的风格，是并不容易有一个合作的研究生的，原因是他对科学的品位十分的个人化，而且他不太喜欢抢做热门主流的题目，这就不太能吸引一些最积极进取的学生，加上他对于物理科学的兴趣广泛，总喜欢换不同的题目做，因此他常常觉得并没有什么好题目可以给学生做的。
事实上，他到石溪来以前，也只在芝加哥大学当讲师时，应一个学生之请给了他一个题目，那个题目其实跟玛丽亚・梅耶后来得到诺贝尔奖的原子核壳层模型是相同的一个方向。不过那个学生后来因为没有继续做下去，所以也就无疾而终了。
杨振宁在石溪从1966年到1999年退休，前后有33年之久，但是他一共也只有十一二个学生，而且其中几个还是他名义上的学生。相对于杨振宁在物理科学的影响和贡献来说，也显现出了他比较不寻常的一种传道授业风格。
杨振宁的学生虽然不多，但是他和学生之间似乎多多少少都还保持了中国文化里面那种“一日为师，终身为父”的关系。他对于学生非常照顾，很慷慨地给予他们很多时间，这些都不是典型的美国大学里的师生关系。
杨振宁在石溪的第一个学生苏泽兰就很清楚地记得，在他跟随杨振宁做研究的那些日子，杨振宁似乎总是有无限的时间可以花在他的身上。他记得许多早上他去找杨振宁，本来只想杨振宁有几分钟来解答他个把问题，结果却变成他和杨振宁坐在研究室里，共同研究演算一整天。中间有的时候杨振宁会接一两个电话，偶尔也会有人来看他。中午他们就吃杨振宁叫来的三明治，紧接着是整个下午做相同情形的工作，为了能赶上杨振宁的思维，到下班的时候他已经是精疲力竭了。
但是苏泽兰对于这些日子的记忆非常深刻。因为他说自己从来没有这样努力地工作，也从来没有这样的快乐。他觉得在杨振宁办公室里的气氛是温暖而又使人感到得到保护的，并且充满着追求知识的兴奋。
1973年在石溪成为杨振宁学生的赵午，也有或多或少相类似的经验。他同样一直记得那些和杨振宁在一起努力工作的美好日子，赵午说有好长一段时间，他几乎天天都在杨振宁办公室里好几个钟头，杨振宁对他非常有耐心，虽然当时他并不能十分珍惜这种机缘，也觉得自己没有把握机会学到更多的东西。但是后来他回忆起来，总觉得他占用了杨振宁太多宝贵的时间，甚至也许延迟了近代物理的向前进展。