孟嘉，明略數(shù)據(jù)技術(shù)合伙人，大數(shù)據(jù)關(guān)系挖掘分析平臺(tái) SCOPA 的總架構(gòu)師與負(fù)責(zé)人。2014 年底加入明略數(shù)據(jù)，負(fù)責(zé)大數(shù)據(jù)關(guān)聯(lián)分析平臺(tái) SCOPA 的研發(fā)與架構(gòu)設(shè)計(jì)，經(jīng)歷了 SCOPA 產(chǎn)品從 0 到 1 的過程，見證一個(gè)新的產(chǎn)品如何一步步通過實(shí)際項(xiàng)目打開市場，并幫助公共安全和金融行業(yè)客戶解決實(shí)際問題。

1我的程序員發(fā)展道路，為什么選擇創(chuàng)業(yè)公司
　　我在明略數(shù)據(jù)經(jīng)歷了從研發(fā)人員，到架構(gòu)師，技術(shù)經(jīng)理，再到產(chǎn)品負(fù)責(zé)人的成長過程，也經(jīng)歷了從深入研究技術(shù)到理解行業(yè)，將技術(shù)應(yīng)用到行業(yè)真正幫客戶解決問題的過程。這個(gè)成長的過程讓我很興奮，我很想和大家分享一下。我認(rèn)為首先應(yīng)該找一份自己喜歡的工作，只有在做自己喜歡的事情，才會(huì)愿意投入精力，才能不斷思考把事情做的高效。而在一個(gè)快速成長的創(chuàng)業(yè)公司能收獲很多，因?yàn)樵趧?chuàng)業(yè)公司的平臺(tái)上往往限制回更少，做的越多，機(jī)會(huì)就越多，收獲也越多，能夠跟著公司一起快速成長，這也是我這兩年最深的體會(huì)之一。
　　很多同學(xué)都比較關(guān)心職業(yè)發(fā)展，或者通俗一點(diǎn)的說，選擇一個(gè)什么樣的職業(yè)能實(shí)現(xiàn)財(cái)富。我想為大家分享一下最近讀的一本書，叫《黑客與畫家》。這不是一本新書，它的作者是一位哈佛計(jì)算機(jī)博士，他在書中的很多觀點(diǎn)或者預(yù)言都成為現(xiàn)實(shí)。他曾經(jīng)在 2001 年寫到蘋果還沒有失敗，如果它能把 iPod 升級成手機(jī)，微軟就有大麻煩了，而蘋果公司的 iPhone 手機(jī)于 2007 年 6 月上市。
　　這本書中就提到了要致富，你需要兩樣?xùn)|西：可測量性和可放大性。你的職位產(chǎn)生的業(yè)績，應(yīng)該是可測量的。此外，你還必須有可放大性，也就是說你做出的決定能夠產(chǎn)生巨大的效應(yīng)。所以如果你有一個(gè)令你感到安全的工作，你是不會(huì)致富的，因?yàn)闆]有危險(xiǎn)，就幾乎等于沒有可放大性。
2大數(shù)據(jù)架構(gòu)師的修煉
　　我認(rèn)為這些年實(shí)際的項(xiàng)目經(jīng)驗(yàn)積累對我的成長是非常重要的。從研究生階段專注的應(yīng)用服務(wù)器分布式集群方向，到后來工作中接觸到的高并發(fā)、高吞吐的網(wǎng)絡(luò)應(yīng)用。在加入明略數(shù)據(jù)前，我已經(jīng)參與過幾個(gè)實(shí)際落地的大數(shù)據(jù)項(xiàng)目，也有過兼職創(chuàng)業(yè)的經(jīng)歷，這些都讓我積累了軟件設(shè)計(jì)和研發(fā)的經(jīng)驗(yàn)。經(jīng)驗(yàn)對于一個(gè)架構(gòu)師很重要，架構(gòu)試錯(cuò)的代價(jià)是很高的，作為架構(gòu)師，既要見多識(shí)廣，從整體掌握，了解系統(tǒng)全局，又要深入到關(guān)鍵的細(xì)節(jié)，思考如何突破系統(tǒng)的瓶頸。
　　大家知道在大數(shù)據(jù)領(lǐng)域里面可以利用的開源組件是很多的，比如計(jì)算框架有 MR、Spark，流式計(jì)算可以用 Storm、Spark Streaming、Heron，資源管理可以考慮 YARN 或 Mesos，KV 存儲(chǔ)文檔存儲(chǔ)可以考慮 HBase、Redis、Cassandra、MongoDB，SQL 引擎可以使用 Hive、Impala、Phoenix、SparkSQL 等。
　　每一個(gè)組件都要深入理解簡直是不可能任務(wù)。我也聽說過有人說所謂大數(shù)據(jù)架構(gòu)師的工作就是把一些開源組件組裝成一個(gè)系統(tǒng)，我認(rèn)為這種想法離架構(gòu)師的實(shí)際工作偏差是很大的。架構(gòu)就像蓋樓房打地基，地基不穩(wěn)，隨著樓層的增高，遲早要出問題。架構(gòu)師最先面對的是對系統(tǒng)需求的理解，這點(diǎn)非常重要，我認(rèn)為在早期架構(gòu)師一定要是和產(chǎn)品經(jīng)理甚至客戶溝通最多的人。
　　此外，架構(gòu)師從一開始就要考慮的問題有很多，舉幾個(gè)大部分系統(tǒng)都會(huì)碰到的問題，系統(tǒng)將來如何擴(kuò)展如何平滑升級，如何處理高并發(fā)，如何設(shè)計(jì)存儲(chǔ)，如何對時(shí)間空間作出權(quán)衡。聽上去好像無從下手，其實(shí)也沒有那么困難，我通常思考的第一個(gè)問題是有沒有自己做過的或者別人分享過的類似的成功架構(gòu)案例。所以架構(gòu)師的經(jīng)驗(yàn)是很寶貴的。我在最初接觸大數(shù)據(jù)技術(shù)的時(shí)候就經(jīng)常參加現(xiàn)在的一些分享交流活動(dòng)，去盡可能多聽一聽成功技術(shù)經(jīng)驗(yàn)，現(xiàn)在回想起來對我的幫助很大。
　　另外，我覺得至關(guān)重要的一點(diǎn)是，架構(gòu)師要非常了解業(yè)務(wù)，不斷和產(chǎn)品經(jīng)理溝通，作為 toB 產(chǎn)品的系統(tǒng)架構(gòu)師，如果有機(jī)會(huì)也要不斷接觸最終用戶，理解需求。
3為什么要去做 To B 產(chǎn)品負(fù)責(zé)人
　　我覺得在這個(gè)市場上真正能深入行業(yè)的優(yōu)秀的 To B 產(chǎn)品經(jīng)理是非常稀缺的，養(yǎng)成周期也是比較長的，他需要在這個(gè)行業(yè)中不斷去接觸客戶，理解行業(yè)，進(jìn)一步總結(jié)需求形成功能點(diǎn)。在 To B 創(chuàng)業(yè)公司往往最缺的就是這種既懂技術(shù)又懂業(yè)務(wù)的復(fù)合型人才。如果對行業(yè)理解不透，對客戶的需求理解不透，在產(chǎn)品上就會(huì)走彎路，這個(gè)代價(jià)是很大的，往往花了很大力氣，用了很多資源開發(fā)了一個(gè)在技術(shù)上很領(lǐng)先的功能，但對客戶卻沒有什么幫助。我也可以很坦誠的告訴大家像這樣的坑我們是趟過的。
　　產(chǎn)品經(jīng)理是對一個(gè)產(chǎn)品成敗的第一負(fù)責(zé)人，我渴望看到我可以推動(dòng)一個(gè)具有先進(jìn)技術(shù)產(chǎn)品能夠真正落地到一個(gè)行業(yè)，推動(dòng)這個(gè)行業(yè)。所以這也是我從做技術(shù)到做產(chǎn)品的一個(gè)重要原因。從技術(shù)到產(chǎn)品并不意味著要放棄技術(shù)，恰恰相反，需要更加深入的從行業(yè)從場景方面了解技術(shù)，知道怎么用技術(shù)的提升產(chǎn)品。我在明略數(shù)據(jù)也繼續(xù)做著我喜歡的架構(gòu)師的工作，我也認(rèn)為這對做產(chǎn)品負(fù)責(zé)人這個(gè)角色有很大幫助。
4知識(shí)工程與行業(yè)人工智能
　　我個(gè)人參與的明略數(shù)據(jù)的大數(shù)據(jù)關(guān)聯(lián)分析平臺(tái) SCOPA 產(chǎn)品主要應(yīng)用在公共安全領(lǐng)域，公安里面有很多警種，情報(bào)、技偵、網(wǎng)安等等，每個(gè)警種都有自己的數(shù)據(jù)，結(jié)構(gòu)化的非結(jié)構(gòu)化的都有，如何在這些異構(gòu)的數(shù)據(jù)基礎(chǔ)上建立統(tǒng)一的大數(shù)據(jù)模型是面臨諸多挑戰(zhàn)之一。公安是典型研究像人這樣的實(shí)體和實(shí)體之間關(guān)系的行業(yè)，背后用到的核心技術(shù)是知識(shí)工程和人工智能的相關(guān)的技術(shù)。
　　我們在與行業(yè) - 企業(yè)客戶日常工作中，都會(huì)運(yùn)用到知識(shí)工程這一套融合了自然語言處理、知識(shí)圖譜構(gòu)建與存儲(chǔ)、知識(shí)檢索與推理等技術(shù)的智能平臺(tái)，將知識(shí)管理與特定行業(yè)業(yè)務(wù)相結(jié)合，在業(yè)務(wù)運(yùn)營過程沉淀和積累行業(yè)知識(shí)，并將知識(shí)應(yīng)用于未來的業(yè)務(wù)中，形成行業(yè)智慧，幫助整個(gè)行業(yè)實(shí)現(xiàn)生產(chǎn)能力的跨越式提升。其中構(gòu)成知識(shí)工程最核心的部分就是知識(shí)圖譜構(gòu)建與存儲(chǔ)，就比如目前運(yùn)用在公安行業(yè)的 SCOPA 這款產(chǎn)品的背后就存儲(chǔ)的是一張巨大的知識(shí)網(wǎng)絡(luò)，我們把它叫做行業(yè)知識(shí)圖譜。知識(shí)圖譜這個(gè)概念最早由 Google 提出，主要是用來優(yōu)化搜索引擎，當(dāng)你搜索微軟的時(shí)候，旁邊會(huì)出現(xiàn)相關(guān)人物比爾蓋茨。
　　知識(shí)圖譜的發(fā)展也助力很多人工智能場景的發(fā)展，我們目前生活中很多熱門的人工智能場景背后都有知識(shí)圖譜技術(shù)，比如語音助手siri，聊天機(jī)器人，智能問答等等。知識(shí)圖譜描述的是現(xiàn)實(shí)世界中的實(shí)體，以及實(shí)體之間的關(guān)系。知識(shí)圖譜的構(gòu)建是一件有挑戰(zhàn)性的工作，主要就是進(jìn)行實(shí)體和關(guān)系的抽取，里面涉及到很多自然語言的技術(shù)與行業(yè)經(jīng)驗(yàn)規(guī)則。大規(guī)模知識(shí)圖譜的存儲(chǔ)同樣需要考慮很多因素，我們采用了混合的存儲(chǔ)模型，包括圖存儲(chǔ)，列存儲(chǔ)和索引存儲(chǔ)，來加速對知識(shí)數(shù)據(jù)的查詢。
　　我們在產(chǎn)品中也用到了很多人工智能的技術(shù)。人工智能的發(fā)展和大數(shù)據(jù)是分不開的。最近最火的深度學(xué)習(xí)在數(shù)據(jù)肥沃且可以歸納學(xué)習(xí)的領(lǐng)域發(fā)展飛速。
　　隨著人工智能技術(shù)的發(fā)展，我認(rèn)為在將來對于基本的機(jī)器學(xué)習(xí)問題的理解和開發(fā)能力會(huì)是程序員的基本技能之一?，F(xiàn)在的開源框架對很多人工智能場景已經(jīng)支持的不錯(cuò)，可以參考的文檔和相關(guān)書籍也越來越多。我身邊有很多剛畢業(yè)的同事在學(xué)校的時(shí)候就已經(jīng)有機(jī)器學(xué)習(xí)的知識(shí)，也跟著教程開發(fā)過一些程序，比如一些簡單的分類器，進(jìn)入工作崗位后面對實(shí)際行業(yè)問題后，特別是在有經(jīng)驗(yàn)的工程師帶領(lǐng)去完成一個(gè)真正的機(jī)器學(xué)習(xí)任務(wù)，就會(huì)成長的特別快。
　　我特別想分享給大家的是，將一個(gè)新興的技術(shù)帶到一個(gè)實(shí)際行業(yè)中去解決實(shí)際問題，往大了點(diǎn)說，當(dāng)看到你的工作真正在推動(dòng)這個(gè)行業(yè)的發(fā)展，提高這個(gè)行業(yè)的效率，那么你的成就感就會(huì)被放大。結(jié)合大數(shù)據(jù)將人工智能技術(shù)落地到行業(yè)，比如在公安領(lǐng)域，我們就可以做到用結(jié)合人工智能技術(shù)的關(guān)聯(lián)挖掘分析平臺(tái)輔助警察進(jìn)行研判工作，讓警察辦案效率大大提高。這是一件很酷的事情。