ML/CV 研究心得分享｜個人筆記
踏入機器學習領域之後，一直好奇這條路在大學之後的方向。週末聽了兩位清大研究所畢業生分享個人歷程，談得相當全面，包括作研究、發Paper、申請學校、工作等等，因此整理出一篇紀錄
兩位講者分別申請上了 UW/ Princeton / MIT / Stanford 等學校，想了解他們的個人背景與更詳細的歷程，可以看他的個人網站與在 PTT錄取文：
- 曾國豪｜個人網站｜[錄取] UW/Princeton/UTA/Columbia CS PhD ML/CV
- 林彥辰｜個人網站｜[錄取] Stanford/MIT/UW/UIUC/UofT CS PhD ML/CV
這場分享我覺得相當深刻，可以等 AI創新研究中心專案計畫 釋出演講影片之後再看一次他們的原字原句。
Talk #1: KH Zeng
KH 的主題叫做「研究路上的 Role Model」，而他一開始就提到 vgod 是他的 Role Model，也讓他想到國外唸書。
進實驗室一開始就孫民老師說：「我想出國讀博士」，老師回：「恐怕很難，除非有 Top Conference Paper」，於是就開始認真做研究，希望寫出一篇 TopConference Paper. 原本拿到了一個有自信的題目：Ranking SVM，沒想到投了兩個Conference都沒有上，當下沒有很沮喪，而是開始反思原因：
「從 2016 整個學界關注的題目有所改變，轉移到 Deep learning。當我們做的題目不是現在的主流，就很難找到舞台。」
因為有這樣的發現，他開始從 Paper 去關注現在領頭的觀念是什麼「從那時候開始 ArXiv 開始席捲整個學界（這麼晚？），我們開始訂閱電子報，每週都看。回頭看之前的論文，都覺得相當 Naive（怎麼投怎麼上），我們就覺得蠻有機會的。」
「所以有閱讀資源、挖出 Keywords，才能找到方向，是很重要的。」
終於上了ECCV’16，得到第一篇 Top conf Paper。
之後KH 分享 Stanford 暑期實習經驗，在Lab相當豐富，每天都很認真做事，不讓 Sever 沒有工作停下來。學到很多，也會有 Ian Goodfellow 大神來演講（會滿場）。除此之外，課程也相當多采多姿，資源也公開放在網路上，就沒有聽一次學不會的問題。
再來談到 Role Model 2：黃德安 ，給了他相當多的建議，他聽進七成，缺沒有聽下三成：當有了 Top Papers，應該把時間花在其他幫助申請的事，像 Letter of Recommend and TOFEL/GRE. 這也是 KH 反思可以做得更好的地方。
Take Home Message
1. 做研究會很辛苦，很無聊，熱情很重要
2. 老師、環境是關鍵
3. 申請看緣分，要做好準備，準備要提早
4. 增加自己的美國經驗 （實習、交換）
5. 兩篇 Top conference Paper，已經是亞洲學生申請上的門檻
6. Connection 最重要，投報率最高
Talk #2: YC Lin
一上台 YC 就說：「我覺得國豪比我強，不管是做研究的態度還是用心，他分享了很多經驗都很深刻，雖然客觀來說我的成果比較好，但是我還是覺得他是更有實力的。他也一直是我的 Role Model」（聽這段時候蠻 Touch 的）
而他也強調 Paper 的重要性。「要蹲得更低，才能跳得更高。有一篇 Top Conference 全世界的機會都會打開了。」「大學四年以來都被迷惑，感覺只要有 ML Master，就可以去創業賺錢，或是能有機會找到好的實習，但當你有了 Paper，其實都是別人會來找你。」「三篇好的Paper真的為我帶來很高的價值」
選指導老師
選老師：有沒有 Top Conference Paper，學生去了哪裡，推薦大家找新教授，野心會比較大
M.S. or Ph.D. ?
「在留學版各自有擁護者，但我覺得討論時候忽略了研究本身帶你的有趣與意義，因為 Ph.D. 工作可以得到更多自己發揮的空間， MS有時候只是要幫上面的人做事，特別當你沒沒無名（沒有Top Paper）的時候。」
待在台灣研究
YC是在大學畢業後待在孫民老師實驗室研究，沒有直接出國讀，這點是指導老師孫民跟他談的結果，套用他在PTT上的分析：
畢業前夕時原本打算申請 master 的我因為自己一個熱門的 open source projects 開始考慮 PhD 的可能性。當時找了指導教授聊聊，他告訴我貿然出國去唸 master 風險很高因為
1. 一去就要考慮該找業界實習還是進實驗室，沒時間探索
2. 在國外念 master 進實驗室不一定會得到老師的重用，不一定能發一作論文 3. 要付很多錢
4. 不管未來是當教授還是進業界做機器學習很可能還是需要 PhD
當時的我掐指一算，如果留下來的這一年可以讓我釐清想不想念 PhD， 順便增強自己的實力還可以賺一點錢 (研究助理) 那何樂而不為？ 我一直告訴自己： 別低估了一年能帶來的改變，高估了晚一年的代價
如果我留下來一年就能申請上 PhD，那仍然比先念碩士再念博士的的人早。 如果我留下來一年只申請上 master，那也有很高機會能上 CMU RI 這種很好的 master。
，所以其實一開始進入研究有點不適，覺得無聊。當時想讀研究所
晚一年讀碩班的決定
其實是不容易的，因為身邊的人都上碩士了，你會顧慮親戚及他人的眼光。但 YC 回過頭去看，這件事其實只有你最在乎，對別人來說也許就只是同學會的 5 分鐘話題。
有一些高中同學學測沒考好，過一年重考上台大電機/資工，過得很開心，也讓 YC 思考晚一年的成本與價值，不像想像中的那麼不平衡。
「反正接下來的三四十年都要工作，所以少賺一年的錢，在這一年嘗試精彩的事，才是自己想要的」
「一年可以改變很多事情。很認真+很幸運的話可以做出很多成果。」
GPA
YC 大學成績蠻好的，那時候修課狂拼 GPA，每年都要拿 4.3 。但後來發現那是一場遊戲，修課有很多「技巧」，有心要衝的話就去研究一下卷哥卷姐的課表。也因為太執著這件事，浪費了一些時間。有時間的話應該就拿去做研究，因為那代表你不是在學別人的東西，而是創造自己的東西。（對大一的我來說，應該還是要重視基礎科目的扎實程度）
啟發點
看到 KH 可以透過 Paper 站到越來越高的地方，YC 的野心也都出來了，決定要豪賭這條路。另外他也發現研究看得是個人努力、指導教授與 Taste，所以之前「清大做研究會不會比不上台大」的想法也克服了。
很有熱情、很專心
這是 YC 摘要自己的優點，也是做研究重要的事（不用是成績第一名或是奧林匹亞）
Papers
- 一篇 Paper 在出發點就決定了六七成的成功
- 自己也要讀 Paper 保持 Taste
- 一開始要信任老師，才可以有好的合作
- 發Paper會上癮，會覺得自己很強
- 需要自學能力很強
- YC 寫的三篇Top conf Paper 在七個月裡完成，也全部命中當下幾個熱門領域，所以不要低估一年的可能性。
- 他的 Paper 也有在 Berkeley 的課堂上被教授提到，這也是一種 Recognized Achievement.
- 算下來一篇 Paper對 YC 值四十萬（實習工作的薪水），所以建議要長期來看，別太 Care 短期的利益。
Connections
Connections 對於申請學校是相當有幫助的，或許強者會覺得我夠強就好，但對申請來說 Connections 幾乎相當重要的：
- 美國老師好推：有 Virginia 的老師仔細指導，客製化寫推薦信
- 在 GSoC 上的Project，Ian Goodfellow 親自審 pull request ，把我加進作者群。（現在Top Conference可能已經不夠，像跟 Ian Goodfellow 這樣的 Trusted name 合作經驗，也許更有幫助。
- 不用像商學院一樣太浮誇的拉關係，但還是要思考找哪些教授寫推薦信
UberATG Intern
YC 寫信給 Uber ATG 的 Head Raquel，但沒有被注意，後來是透過手下台灣愛將內推+清大教授私推才被收過去做 Intern。（他說其實不是北京清華之外的學生自然就會被 Filter 掉了）
去了之後，原本想寫一篇好的Paper，得到PhD申請的強推。但愛將跟他說，Raquel 不缺 Good paper，因為有些相對的安全區域，而有些是 Boss 本身就想嘗試的新區域，不一定會有Paper可以產出，相對比較 Risky，所以大家有時候不敢做，但同時做了可能得到更大的賞識（更強的推），於是 YC 就選這種主題切入做研究（因為已經有 Top Conference Paper了）
最後，Raquel 幫 YC 寫了強推。
一些感想
Everyone have their own clock.
Nobody really cares about what you are doing except yourself.
Application 的重要性
LoR: 70%
Publication: 20%
School: 10%
ToeFL > 100 (Speaking > 22)
GRE > 320
GPA > 3.7（大家是找你來研究，不是唸書的）
申請建議
- Before Application ：Take less course、Trace 前人的路
- During Application：Contact potential prof.
- After Application：Know what you really want, don’t haunted by schools.
Summary
- 一路走來很幸運，跟著機會走，也靠著自己的熱情與專注做出成果
- 這一年是非人類的生活，上廁所也要要看 Paper，女朋友遲到看 Paper也覺得沒差。當然不是說要做只有研究的 Nerdy，不過研究融入生活是件挺好的事。
- 同伴的重要性：從 KH 以及一路上的許多夥伴得到相當多的支持與啟發，去國外待過之後，覺得在清大的幾個Peers的才能是世界級的，不要覺得自己是清大的就不能做研究。
QAs
之後的 QA 也相當精彩，不過就不打出來了：
- 對Paper沒有信心又快到Deadline的時候怎麼調適？
- 最近紅的領域是什麼？
- 怎麼決定要不要做 PhD？（Master 在國外還是國內讀？）
- DL 會紅多久？
對此的回答蠻有趣的：DL被誇大，現在出國念 DL 是非常危險的，也聽過一些人講這件事泡沫化的可能性。兩人也有想把考慮先工作把錢賺一賺，之後也可能會換領域。不過對於申請者來說，想這些都只是 Disdract 的過程，YC 自己也經歷過，先把現在手上的申請弄到最好，先丟掉這些顧慮，之後再來想。
- 如何建立 Connections？
之後我又去私下問了問題， YC 說：「應數系在申請也不一定重要，還是看你的推薦信與Paper的成就 / 亞洲男生是世界上申請最激烈的一個Pool，也只能任命 / 在教授底下要認真做事，他才會有機會把你推薦出去當門面 」
Personal Thoughts
To me it’s really BEST talk in 2018. They’ve shared experiences in varies point, like doing research, interning abroad and also applying Ph.D. Which is very inspiring to me since I’ve always excited by working with a group of smart and diligent people, but it was always an abstract description without an clear picture. After the talk, I’ve found some goals to work toward. (I think I’ll regard them as my role model!).
Also the friendship they builded in lab is strong and positive, which really impressed me.
I also reflected my previous thoughts, like the decision of transferring. I think there are 3 things I particularly want to do now: Developing strong ground skills in math/CS, build connections with people and explore paper and field that I’d be interested. I want to make my time in university valuable for myself, explore varies things and enjoy the time, not getting disturb by thoughts to get high GPA or go work to earn money.
Big thanks to GH and YC for the inspirations!
