R“量身定做”一篇有关经验比较的论文。
当时研究院正在参加TREC 比赛。这个比赛中有一个任务叫做Topic Distillation,其目的是找到与所查询主题最相关的子网站入口,也就是说即便有的时候子页面比父页面更加相关,我们还是希望返回父页面。为了解决这个问题,我们提出把网页里的关键词按照网站结构向父页面进行传播。经过实验验证,这个方法非常有效。于是我就想,是不是还有其他类似的做法呢?除了关键词以外,我们是否可以把网页的相关性得分(relevance score)进行传播?除了沿着网站结构以外,我们是否还可以沿着超级链接结构进行传播?有了这个想法以后,我们对以往的相关文献进行了调研,发现确实有人做过把相关性得分沿着超级链接进行传播的尝试。这就启发我对以上提及的各种传播方式进行系统的对比研究。于是我把所有相关的方法进行列举、分类,并对其进行了大量的实验比较,并最终得到了很多有意思的结果。我按照自己总结的SIGIR的“范式文本”,把这些比较结果写成了一篇论文,提交给了SIGIR 2005。最终这篇文章被录用了。虽然有些幸运的成分,但是不管怎么样,通过“模仿”,我的SIGIR之旅正式启航了。
第二年:“掌握扩大战果的本领”
发表第一篇文章固然重要,但是如何排除幸运的因素,真正具有持续发表SIGIR论文的实力更加重要。这方面,微软亚洲研究院的国际化平台给了我很大的帮助。每年,研究院都会吸引大量国外的知名学者来进行访问交流,我正是借助这样的机会认识了杨益銘教授。
杨益銘教授是美国卡耐基梅隆大学的教授,是文本分类领域的专家。我有幸在她访问研究院期间和她合作了的一篇论文。当我把初稿写出来让她修改的时候,她来来回回和我讨论了5遍“引言”怎么写。其实她完全可以直接帮我把这一章改好,所花的力气要少很多。但是杨老师耐心地给我提意见,让我自己一点一点修改。这个过程使我意识到有了好的技术,还要清晰准确地表达出来,恰到好处地突出自己的贡献。这对我日后的论文写作以及给学生改论文都有很大的帮助。至今仍然十分羡慕杨老师的境界:“写论文其实是一件很享受的事情,写起来象清泉流水一样,禁不住要把那么好的研究成果和别人分享”。 电子书 分享网站
找到属于自己的关键词 刘铁岩(2)
和杨老师合作在SIGKDD Explorations 上发表了一篇关于大规模文本分类的论文之后,我又开始了独立准备下一年度SIGIR论文的阶段。不过,这次明显感觉与以往不同了:不再是为了量身定做一篇论文而找题目做,而是围绕着自己正在做的研究题目写论文。
这次我准备的两篇文章一篇讲的是基于随机补的网络图排序,另外一篇则是关于文档检索的新算法。它们都不是有关经验比较的论文,也没有像第一年那样按照SIGIR的“范式文本”来写,但是这两篇文章也都被SIGIR 2006录用了。
经过这个过程,我感觉自己真的入门了:至少知道什么样的工作是SIGIR这个领域真正认可的工作,也知道如何写出具有自己风格的论文来。
第三年:“找到属于自己的关键词”
入行两年发表了3篇SIGIR论文,其实并不是一件容易的事情,因为这个会议竞争非常激烈,每年全球范围内只收录几十篇文章,而且无疑来自美国的论文占了绝大多数。也因此,我慢慢被一些外面的学者认可,也接触到了更多的同行朋友。
一次开会的时候,和几个同行聚在一次聊天,各自介绍自己的研究方向。到我表达的时候,发现只能用“信息检索”这样的大词来形容,因为自己做过的3篇SIGIR论文相关性并不大,很难找到更贴切的描述。一个朋友说:你要有自己的关键词,比如美国伊利诺斯大学香槟分校的翟老师的关键词就是语言模型,卡内基梅隆的杨老师的关键词就是文本分类,你的关键词是什么?
这个问题给了我很大的触动。仔细想想,确实知名学者多半都有他们自己的成名之作,有很集中的研究方向。而我目前的状态似乎还是有点为了发论文而发论文,没有真正地去规划属于自己的研究方向。如果继续这样下去,可能接下来的几年里我还会发表更多的SIGIR论文,但是当再次被别人问及同样的问题时,我仍然无法避免这种尴尬。所以,我决定要集中火力,做有影响力的,可以作为自己关键词的研究方向。
我和我的经理就此进行了一次长谈。谈话中,一方面他向我强调了微软亚洲研究院开放的研究氛围,对我表示了极大的支持;另一方面,和我分享了“less is more”的道理,并和我一起分析和确定了主攻的研究方向。考虑到我的数学基础比较扎实,对机器学习和优化理论比较熟悉,同时考虑到不论对信息检索领域还是对微软公司的搜索引擎而言,排序(ranking)都是一个核心的问题,我们最终把研究的重点放在了排序学习(learning to rank)上。
在此基础上,我对自己和实习生的研究方向做了较大的调整:大家的研究方向都围绕着排序学习展开,比如:排序学习的损失函数研究,基于多平面的排序学习方法,排序学习中的特征选择问题,基于排序学习的序列融合等等。我们也再接再厉在SIGIR 2007上发表了3篇论文。这三篇论文由于都是关于排序学习的,被安排在了同一个分会上宣讲。这个分会上总共只有4篇文章,因此我们的表现受到了很大的关注。我也从此有了自己的关键词:排序学习。
会后,我被邀请成为SIGIR 2008资深程序委员会的成员,以及国际期刊《信息检索》的编委,从一个信息检索领域的的参与者转变成了的组织者。
第四年:“为引领一个学派而努力”
微软公司有一种内部导师制度,鼓励资深员工作为年轻员工的导师,对他们的成长进行帮助和指导。我非常幸运,通过经理的引荐,Rakesh Agrawal ,这个数据挖掘领域最成功的学者,在2007年底成为了我的导师。我还清晰地记得在我和Rakesh的面谈中,他对研究的看法给了我很大的震撼。比如,“写文章不是为了当下被会议收录,而是为了要推动这个学术方向的发展,要形成一定的学派,至少在10年之内都产生深远的影响”;再比如,“人们总是忘记你的好论文,而铭记着你不好的论文,声望要用10年去积累但是可以毁于一旦,因此要非常严肃对待自己的每一篇论文,确保质量”。
和Rakesh的交流让我认识到有个关键词还远远不够,这个关键词需要代表着我自己主导的学派。带着这种想法,我在经理的帮助下对研究课题进行了重新的审视,并且对研究过程进行了更好的质量控制。我和我的合作者们现在正在为了引领“列表级别的排序学习 (listwise approach to learning to rank)”这一属于我们自己的学派而努力着。
可喜的是,我们在这个方向上已经取得了阶段性的成绩。比如,我们在SIGIR 2008上又发表了3篇相关的论文,还在ICML 上发表了2篇关于“列表级别的排序学习”的理论文章,讨论了列别级别排序学习的统计一致性和泛化性能。除了发表论文以外,我们还通过在SIGIR上组织Workshop,发布Benchmark数据集,在SIGIR和 等顶级会议上做专题讲座的方式推广“列表级别的排序学习”。
我们的研究成果受到了越来越多的关注,然而我们知道,前方要走的路还很长。不过,在微软亚洲研究院这个平台上,我们有信心可以越走越远,推动排序学习领域的进步,也为整个SIGIR的发展做出自己的贡献。
作者介绍:
刘铁岩,2003年获得清华大学博士学位,同年加入微软亚洲研究院,现任信息检索与挖掘组主管研究员。他的研究兴趣包括排序学习的理论,算法和系统。他已在国际期刊和会议上发表了近70篇学术论文,拥有近40项专利或申请。他被国际期刊“视觉通信和图像表达”授予2004~2006年度最高引用论文奖,被SIGIR2008授予最佳学生论文奖。他是数十个国际会议的程序委员会成员及国际期刊编委。他的研究风格是结合信息检索的应用需求,提出全新的研究方向,并给出有效的解决方案和严谨的理论分析。
大侠是怎样练成的 周昆(1)
转眼之间,我已经在MSRA(微软亚洲研究院)工作了将近六年,回想六年来的研究经历,感触很多。就和练习武功一样,我从一个学徒,到略通精义的武林中人,再到凭借一技所长叱咤一方的的大侠,我在研究院度过了不平凡的六年。
一.2003年:“打哪指哪”与“指哪打哪”
2002年我加入微软亚洲研究院,刚开始是跟着资深研究员做项目。当时我的老板郭百宁提出了一个很有挑战性的想法:能否用纹理合成技术模拟出豹子皮这样一类的纹理。于是,在实现他这个想法的过程中,我学会了“打哪指哪”的研究方法。
这个项目的研究过程异常艰苦。在最开始的几个月里,我们尝试了很多种方法,可无论如何,我们做出来的豹子皮都像是假的。直到项目结束期限前的一个月,百宁总结了我们能做出来的最好结果,发现尽管我们不能做出豹子皮这种纹理,但是已经能做出一大类有累进变化的纹理。于是,围绕着这个思路,我们对已经取得的算法和结果进行了整理。最后论文被SIGGRAPH录用,这也是我的第一篇SIGGRAPH论文。
我在学校里受过的科研训练一般是首先有一个好的想法,接着进行实现,通过写程序和做实验来验证想法是否可行,这种方式可以总结为“指哪打哪”法,就是说目标指向哪里,就打向哪里。可是,我在研究院的第一个项目确教会了另外一种不同的研究门路——“打哪指哪”。比如说百宁给我提供的想法就像一个目标,而需要我想办法把这个目标击中。可是,由于我的知识和研究实力等方面的限制或者本身这个想法就不是很成熟,极有可能这个目标在当时的情况下是实现不了的。可是,就在这个做不出来的过程中,你有可能做出一些科研环节中的副产品来。虽然,之前是沿着一条研究主路一直在前进,但是却会产生很多的分叉与分支出来,逐渐偏离了原来的研究方向。当走了一段时间之后,会恍然发现其实本来就不应该走原来的那条路,要走的就是现在这条走出来的“弯路”。当时的假定目标是A,后来竟做出了一个B出来,而当我们要总结科研成果,撰写科研论文时,我们会总结说其实我们真正要做目标的是B,这就是所谓的“打哪指哪”,J。
在科研过程中,往往会遇到很多没有设想到、但很有意思的现象,便导致了很多意外的新发现。因此,当一项科研成果出来的时候,你可以相信在其背后可能隐藏着另外一个不为人所知的故事。当然你所能看到的几乎所有的科研论文在讲述研究历程时都是运用“指哪打哪”法的,但是它这个结论的发现过程很有可能是“打哪指哪”出来的——没有打到目标A,却把目标B做出来了。
“打哪指哪”法对于刚刚进入研究一两年,脑海中只是有些模糊想法但是又未必做不出来的研究人员比较适用。2003年我们没有做出豹子皮,只是在马身上生成了豹皮的斑点图案,看上去像是披着豹皮的马。两年之后,在2005年的SIGGRAPH上我们真正做到了“指哪打哪”,用纹理映射的方法生成了豹子。
二.2004年:科研成果的产品转换
2004年我发明了一个叫做Iso…charts的技术,主要是借助机器学习的方法对三维网格模型进行自动分片,并且生成纹理坐标。网格参数化是计算机图形学一个非常基础的功能,在游戏和电影产业都被广泛适用。在这一年的工作中,我认识到做研究不只需发论文来展示自己的科研成果,其实还需要看重这项技术的实际价值。被工业界所应用和承认,或许能带来更大的成就感。
通过技术转化组的胡志鹏工程师的辛勤工作,我们成功地在DirectX的Code Base里贡献了三万行代码,使得这项技术成为DirectX中任意网格参数化工具UVAtlas。现在做贴图的程序员和游戏开发者都会用到UVAtlas这个工具,而且这项技术还用在了微软自行研发的Halo 3游戏引擎里。这就是企业研究院区别于其他科研机构的地方,在企业研究院我们不仅可以发表高水平的顶级论文使得科研成果得到学术界的充分认可,而且还可以使自己的科技成果进行产品转化,被成千上万的用户所使用从而体现其更广泛和深远的价值和影响。 。 想看书来
大侠是怎样练成的 周昆(2)
非常有意思是,这个项目起源于一个SIGGRAPH项目,我们的投稿不幸被拒了,可是万幸的是它转化进了微软的产品中,而且获得了研究院2005年的最佳技术成果转换奖。同时,这篇论文也是我第一次与微软总部的研究员合作完成的论文。
三.2005年:渐入佳境
2005年对我来说是丰收的一年,我投了三篇SIGGRAPH论文都被录用了,而且三篇都是以第一作者的身份发表的。在同一年里面以第一作者的身份发表三篇论文,这在SIGGRAPH历史上是前所未有的。这一年的丰收标志着我在SIGGRAPH上成熟,也非常庆幸在这一年找到了可以真正命中SIGGRAPH的感觉和信心。当在这种感觉的指引下做出来的三篇论文得到业界同行认可的时候,即充分证明了自己也可以与他们一样跻身世界领先的行列。
总的来说这一年的收获主要体现在两个方面,首先是2003年金钱豹纹路的创想终于在这一年找到了完美的解决。另一方面就是自己的研究视野更加开阔了,从几何和纹理伸延到了绘制,对图形学本身有了更为深入的探索和了解。我一直觉得计算机图形学是个相对较窄的学科,如果连这个较窄的学科都不能做到比较透彻的理解的话,我担心自己今后能到达的研究高度会非常有限的。我希望自己能在研究的深度和广度上并重。
我不停地扩展自己的研究范围,尝试去学习更多的东西,试图在多个方向上寻找可以解决的问题。在某个方向上的研究功力体现在发现问题的能力,如果连问题都不知道的话,解决问题就无从谈起。可是有太多的文献和太多的方向,使得发现问题变得相当困难。即使当你找到一些问题之后,有些问题可能是十几年/几十年没有解决的问题。那么,就需要创新性地在当前的范围里找到一个可解的问题,这其中的难度可能并不比找问题难。
四.2006年:从运动员到教练员
这个阶段我主要从一名运动员转换到同时带学生的教练员,如何培养学生做研究成了我的一个新课题。在研究院工作是幸运的,有很多非常优秀有潜力的学生跟我一起做研究,比如任重、孙鑫、施晓晗、侯启明等。 我在培养学生方面也经历了一个比较有意思的发展过程:
阶段 我 学生
阶段一: 全包培养 从Idea; 方法;实验;论文起草都由我来完成 主要从事一些编程的工作
阶段二: 轻轻放手 提出Idea,论文起草由我完成 让学生去寻找一些解决方法,从事编程工作
阶段三: 大胆放手 只提出Idea 鼓励学生自己寻找方法,尝试撰写论文,从事编程工作
阶段四