之后的几天，陈一然继续窝在公寓里写代码。
就是当茉莉的人肉键盘，每天推个一两小时。deepflow 的自动微分引擎已经搭了个架子，但反向传播那块始终没跑通，茉莉昨天改了激活函数的实现，今天又要接著调。
【第十二行，把那个 sigmoid 换成 tanh，括號里改成 hidden_output。】
陈一然照著打，textmate 的代码补全倒是能弹出来，但弹的都是不相关的东西，他得一个字母一个字母敲。
【然后下面加一行，np.dot，参数是 error 和 hidden_output 的转置。】
“等等 —— 转置怎么写来著？”
【t，加在变量后面。】
他打完了，运行，terminal 里蹦出来一行报错。维度不匹配。
【hidden_output 的 shape 应该是 64 乘 1，你前面加一个 reshape。】
“哪一行？”
【第四十七行。】
他翻上去找到第四十七行，果然，少了个 reshape。加了，再跑，还是报。这回是 learning_rate 的问题，太大了，梯度爆炸。
陈一然靠在椅背上嘆了口气，这种调参的活最烦，不是逻辑错，就是数值不对，改一个地方牵一串。
茉莉理论都懂，但也得靠他一次次运行、看报错、改、再跑。
折腾了一个多小时，总算跑通了。
但 loss 掉得太慢了，一条几乎水平的线，两百个 epoch 才降了零点零几，照这个速度得跑到明年。
【可能是权重初始化的问题。目前用的是全零初始化，这会导致所有隱层神经元输出相同，反向传播时梯度也完全一样。】
“说人话。”
【把第二十三行和第二十五行的 np.zeros 改成 np.random.randn，除以 sqrt of hidden_size。】
“sqrt 就这么直接打吗？”
【np.sqrt，括號里写 hidden_size。】
两处都改完，试著运行了下。这回 loss 曲线明显陡了不少，但跑到第五十个 epoch 突然一个 nan 蹦出来，整个训练废了。
“又炸了。”
【learning_rate 还是太大。0.1 对隨机初始化来说偏高，先降到 0.01 试试。】
“刚才不是说 0.1 太大吗，怎么又大了？”
【之前是零初始化，梯度小，0.1 勉强能跑。现在换成隨机初始化，初始梯度大了，0.1 就过了。】
“你能不能一步到位？行了，今天先到这吧，我脑子都快炸了。话说，你就不能想好了，再让我打吗。”
【你的意思是，我可以对你的大脑进行更深度的调用，不用保持低状態运行了？如果可以，我可以完全推演大部分运行情况。请提前准备好补给品和冰块。】
“没！我说说的，这样挺好。”
不再理天天说真话很烦人的茉莉，陈一然打电话叫了个披萨。
刚要放下电话，徐力的简讯就来了：“提单到了！货代刚发我邮箱了！我给你也发了一份，这个要给国內看吧。”
陈一然去电脑上开 gmail，果然有一封徐力转发的 global auto shipping 邮件，標题 “bill of lading - 2x cayenne - tianjin”。提单附件打开扫了一眼 —— 船名 cosco development，航次 0042w，两辆 cayenne 的 vin 號都对上了。etd newark feb 17，也就是今天周三开的船，eta 天津港大概四周后。
陈一然赶紧转发给了王经理，然后给徐力说了一声。
徐力回了个搓手的表情。
他放下手机，有一搭没一搭地刷著人人网。
披萨到得很快，他一边吃一边继续高强度在人人上衝浪。
最近他已经成为了 eli 传奇，新生 3 周就去考托福考了个满分。天天不用上课，在家睡觉刷人人，到处回復閒得要死。
很多前世很熟悉的朋友，这辈子虽然不太熟了，但是在网上建立了联繫。
一个披萨吃完，还有点饿的陈一然乾脆开车去 acme 进行了一番採购。
茉莉的存在，让陈一然可以安心地暴饮暴食，反正大不了头枕冰块让茉莉疯狂运转一段时间。
巧克力，巧克力冰淇凌，巧克力牛奶。各种高热量食品，还有无数水果，充斥著购物车。
等回到家中，陈一然突然感觉自己有点墮落，这两天除了每天固定一到两个小时在茉莉的监督下努力干活。剩下的时间都刷网页，看电影，要不就吃了。
不行，得干点正事。
乾脆打开谷歌，先看下史丹福大学那边的申请的情况吧。自己在 github 发的那个小脚本，应该就足以让自己不需要 sat 之类繁琐的东西了。天才嘛，总是有点特权的。但是，还是得看看具体要求。至少，得把申请日期什么的看一下吧。
官网里找了下，点进 computer science，admission。
fall quarter 2011: application deadline december 1, 2010.
spring quarter 2011: no admission offered.
陈一然的手停在了触控板上。
wtf,wth,hs!
陈一然直接爆出了美式三连，赶紧在官网仔细找了找，只在问答说明中找到了一行字。
are first-tiepted for terms other than the fall? no
只收秋季，噁心人啊。
上辈子没打过高端局，根本不知道斯坦福原来没有春季入学。
eli 的教授也没告诉他啊，还给他出主意怎么延续 f1 身份呢。
这说明教授也没打过高端局啊，德拉瓦大学果然还是不行吗。
冷静了一会，陈一然打开谷歌。
搜索，top computer science programs spring admission 2011，回车。
第一条 us news 的排名，行吧，就按这个先看看。
在排名靠前的几家官网上查询，卡內基梅隆大学只有秋季，mit，只有秋季。加州理工大学，只有秋季。
伯克利，圣克拉拉通通都是只有秋季。
找了半天，就只有香檳大学有了意外之喜，香檳大学甚至今年的秋招都没结束，截止日期是三月一日。
他的 cs 专业排名也很靠前，全美第五。
但是，伊利诺伊中部，最近的大城市是芝加哥，开车两小时。离硅谷？飞过去四五个小时，中间至少转一次。
陈一然有点犹豫，他其实对於大学课程没有那么在意。有茉莉在，他的学习能力是非常夸张的。
上学主要就是为了资源，周围的资源，教授资源。虽然前世他没有创业过，但是爽文没少看啊。
以他丰富的爽文创业经验来看，硅谷的区位优势才是重要的东西。
所以他一开始的目標就是斯坦福，要不就是伯克利，圣克拉拉，反正就是环硅谷大学都可选。
香檳大学对他的吸引力，可能就只有名字好听了。
在硅谷旁边，出门就能碰上创业公司，进咖啡馆就能听到有人在聊科技趋势。香檳大学，边上有啥他可不知道啊。
隨便查一下，嚯，人口有 7 万之巨大，人口几乎是德拉瓦大学所在的纽瓦克的两倍。
这不就是，一个更大点的村子吗，去不了一点。
他关掉了所有標籤页，屏幕上只剩 textmate 那个半开的项目窗口。
陈一然把椅子往后推了推，盯著天花板想了两分钟。
最后也没想到什么好办法。
无非就是乾脆九月份在德拉瓦入学，然后搞好一点的 gpa 回头转学。
或者多花点钱，乾脆在 eli 掛到明年算了。
eli 每期三千多，一年 6 期大概一万八。平行车的生意，还是很好覆盖的。
或者乾脆回国待一年，但是那还不如待在美国呢，至少可以做做平行车生意啥的。
“茉莉，也就是说我们时间可能更富裕了，我们多搞点厉害的东西吧。”
【好。】
就是当茉莉的人肉键盘，每天推个一两小时。deepflow 的自动微分引擎已经搭了个架子，但反向传播那块始终没跑通，茉莉昨天改了激活函数的实现，今天又要接著调。
【第十二行，把那个 sigmoid 换成 tanh，括號里改成 hidden_output。】
陈一然照著打，textmate 的代码补全倒是能弹出来，但弹的都是不相关的东西，他得一个字母一个字母敲。
【然后下面加一行，np.dot，参数是 error 和 hidden_output 的转置。】
“等等 —— 转置怎么写来著？”
【t，加在变量后面。】
他打完了，运行，terminal 里蹦出来一行报错。维度不匹配。
【hidden_output 的 shape 应该是 64 乘 1，你前面加一个 reshape。】
“哪一行？”
【第四十七行。】
他翻上去找到第四十七行，果然，少了个 reshape。加了，再跑，还是报。这回是 learning_rate 的问题，太大了，梯度爆炸。
陈一然靠在椅背上嘆了口气，这种调参的活最烦，不是逻辑错，就是数值不对，改一个地方牵一串。
茉莉理论都懂，但也得靠他一次次运行、看报错、改、再跑。
折腾了一个多小时，总算跑通了。
但 loss 掉得太慢了，一条几乎水平的线，两百个 epoch 才降了零点零几，照这个速度得跑到明年。
【可能是权重初始化的问题。目前用的是全零初始化，这会导致所有隱层神经元输出相同，反向传播时梯度也完全一样。】
“说人话。”
【把第二十三行和第二十五行的 np.zeros 改成 np.random.randn，除以 sqrt of hidden_size。】
“sqrt 就这么直接打吗？”
【np.sqrt，括號里写 hidden_size。】
两处都改完，试著运行了下。这回 loss 曲线明显陡了不少，但跑到第五十个 epoch 突然一个 nan 蹦出来，整个训练废了。
“又炸了。”
【learning_rate 还是太大。0.1 对隨机初始化来说偏高，先降到 0.01 试试。】
“刚才不是说 0.1 太大吗，怎么又大了？”
【之前是零初始化，梯度小，0.1 勉强能跑。现在换成隨机初始化，初始梯度大了，0.1 就过了。】
“你能不能一步到位？行了，今天先到这吧，我脑子都快炸了。话说，你就不能想好了，再让我打吗。”
【你的意思是，我可以对你的大脑进行更深度的调用，不用保持低状態运行了？如果可以，我可以完全推演大部分运行情况。请提前准备好补给品和冰块。】
“没！我说说的，这样挺好。”
不再理天天说真话很烦人的茉莉，陈一然打电话叫了个披萨。
刚要放下电话，徐力的简讯就来了：“提单到了！货代刚发我邮箱了！我给你也发了一份，这个要给国內看吧。”
陈一然去电脑上开 gmail，果然有一封徐力转发的 global auto shipping 邮件，標题 “bill of lading - 2x cayenne - tianjin”。提单附件打开扫了一眼 —— 船名 cosco development，航次 0042w，两辆 cayenne 的 vin 號都对上了。etd newark feb 17，也就是今天周三开的船，eta 天津港大概四周后。
陈一然赶紧转发给了王经理，然后给徐力说了一声。
徐力回了个搓手的表情。
他放下手机，有一搭没一搭地刷著人人网。
披萨到得很快，他一边吃一边继续高强度在人人上衝浪。
最近他已经成为了 eli 传奇，新生 3 周就去考托福考了个满分。天天不用上课，在家睡觉刷人人，到处回復閒得要死。
很多前世很熟悉的朋友，这辈子虽然不太熟了，但是在网上建立了联繫。
一个披萨吃完，还有点饿的陈一然乾脆开车去 acme 进行了一番採购。
茉莉的存在，让陈一然可以安心地暴饮暴食，反正大不了头枕冰块让茉莉疯狂运转一段时间。
巧克力，巧克力冰淇凌，巧克力牛奶。各种高热量食品，还有无数水果，充斥著购物车。
等回到家中，陈一然突然感觉自己有点墮落，这两天除了每天固定一到两个小时在茉莉的监督下努力干活。剩下的时间都刷网页，看电影，要不就吃了。
不行，得干点正事。
乾脆打开谷歌，先看下史丹福大学那边的申请的情况吧。自己在 github 发的那个小脚本，应该就足以让自己不需要 sat 之类繁琐的东西了。天才嘛，总是有点特权的。但是，还是得看看具体要求。至少，得把申请日期什么的看一下吧。
官网里找了下，点进 computer science，admission。
fall quarter 2011: application deadline december 1, 2010.
spring quarter 2011: no admission offered.
陈一然的手停在了触控板上。
wtf,wth,hs!
陈一然直接爆出了美式三连，赶紧在官网仔细找了找，只在问答说明中找到了一行字。
are first-tiepted for terms other than the fall? no
只收秋季，噁心人啊。
上辈子没打过高端局，根本不知道斯坦福原来没有春季入学。
eli 的教授也没告诉他啊，还给他出主意怎么延续 f1 身份呢。
这说明教授也没打过高端局啊，德拉瓦大学果然还是不行吗。
冷静了一会，陈一然打开谷歌。
搜索，top computer science programs spring admission 2011，回车。
第一条 us news 的排名，行吧，就按这个先看看。
在排名靠前的几家官网上查询，卡內基梅隆大学只有秋季，mit，只有秋季。加州理工大学，只有秋季。
伯克利，圣克拉拉通通都是只有秋季。
找了半天，就只有香檳大学有了意外之喜，香檳大学甚至今年的秋招都没结束，截止日期是三月一日。
他的 cs 专业排名也很靠前，全美第五。
但是，伊利诺伊中部，最近的大城市是芝加哥，开车两小时。离硅谷？飞过去四五个小时，中间至少转一次。
陈一然有点犹豫，他其实对於大学课程没有那么在意。有茉莉在，他的学习能力是非常夸张的。
上学主要就是为了资源，周围的资源，教授资源。虽然前世他没有创业过，但是爽文没少看啊。
以他丰富的爽文创业经验来看，硅谷的区位优势才是重要的东西。
所以他一开始的目標就是斯坦福，要不就是伯克利，圣克拉拉，反正就是环硅谷大学都可选。
香檳大学对他的吸引力，可能就只有名字好听了。
在硅谷旁边，出门就能碰上创业公司，进咖啡馆就能听到有人在聊科技趋势。香檳大学，边上有啥他可不知道啊。
隨便查一下，嚯，人口有 7 万之巨大，人口几乎是德拉瓦大学所在的纽瓦克的两倍。
这不就是，一个更大点的村子吗，去不了一点。
他关掉了所有標籤页，屏幕上只剩 textmate 那个半开的项目窗口。
陈一然把椅子往后推了推，盯著天花板想了两分钟。
最后也没想到什么好办法。
无非就是乾脆九月份在德拉瓦入学，然后搞好一点的 gpa 回头转学。
或者多花点钱，乾脆在 eli 掛到明年算了。
eli 每期三千多，一年 6 期大概一万八。平行车的生意，还是很好覆盖的。
或者乾脆回国待一年，但是那还不如待在美国呢，至少可以做做平行车生意啥的。
“茉莉，也就是说我们时间可能更富裕了，我们多搞点厉害的东西吧。”
【好。】