孟嘉，明略數(shù)據(jù)技術合伙人，大數(shù)據(jù)關系挖掘分析平臺 SCOPA 的總架構(gòu)師與負責人。2014 年底加入明略數(shù)據(jù)，負責大數(shù)據(jù)關聯(lián)分析平臺 SCOPA 的研發(fā)與架構(gòu)設計，經(jīng)歷了 SCOPA 產(chǎn)品從 0 到 1 的過程，見證一個新的產(chǎn)品如何一步步通過實際項目打開市場，并幫助公共安全和金融行業(yè)客戶解決實際問題。

1我的程序員發(fā)展道路，為什么選擇創(chuàng)業(yè)公司
　　我在明略數(shù)據(jù)經(jīng)歷了從研發(fā)人員，到架構(gòu)師，技術經(jīng)理，再到產(chǎn)品負責人的成長過程，也經(jīng)歷了從深入研究技術到理解行業(yè)，將技術應用到行業(yè)真正幫客戶解決問題的過程。這個成長的過程讓我很興奮，我很想和大家分享一下。我認為首先應該找一份自己喜歡的工作，只有在做自己喜歡的事情，才會愿意投入精力，才能不斷思考把事情做的高效。而在一個快速成長的創(chuàng)業(yè)公司能收獲很多，因為在創(chuàng)業(yè)公司的平臺上往往限制回更少，做的越多，機會就越多，收獲也越多，能夠跟著公司一起快速成長，這也是我這兩年最深的體會之一。
　　很多同學都比較關心職業(yè)發(fā)展，或者通俗一點的說，選擇一個什么樣的職業(yè)能實現(xiàn)財富。我想為大家分享一下最近讀的一本書，叫《黑客與畫家》。這不是一本新書，它的作者是一位哈佛計算機博士，他在書中的很多觀點或者預言都成為現(xiàn)實。他曾經(jīng)在 2001 年寫到蘋果還沒有失敗，如果它能把 iPod 升級成手機，微軟就有大麻煩了，而蘋果公司的 iPhone 手機于 2007 年 6 月上市。
　　這本書中就提到了要致富，你需要兩樣東西：可測量性和可放大性。你的職位產(chǎn)生的業(yè)績，應該是可測量的。此外，你還必須有可放大性，也就是說你做出的決定能夠產(chǎn)生巨大的效應。所以如果你有一個令你感到安全的工作，你是不會致富的，因為沒有危險，就幾乎等于沒有可放大性。
2大數(shù)據(jù)架構(gòu)師的修煉
　　我認為這些年實際的項目經(jīng)驗積累對我的成長是非常重要的。從研究生階段專注的應用服務器分布式集群方向，到后來工作中接觸到的高并發(fā)、高吞吐的網(wǎng)絡應用。在加入明略數(shù)據(jù)前，我已經(jīng)參與過幾個實際落地的大數(shù)據(jù)項目，也有過兼職創(chuàng)業(yè)的經(jīng)歷，這些都讓我積累了軟件設計和研發(fā)的經(jīng)驗。經(jīng)驗對于一個架構(gòu)師很重要，架構(gòu)試錯的代價是很高的，作為架構(gòu)師，既要見多識廣，從整體掌握，了解系統(tǒng)全局，又要深入到關鍵的細節(jié)，思考如何突破系統(tǒng)的瓶頸。
　　大家知道在大數(shù)據(jù)領域里面可以利用的開源組件是很多的，比如計算框架有 MR、Spark，流式計算可以用 Storm、Spark Streaming、Heron，資源管理可以考慮 YARN 或 Mesos，KV 存儲文檔存儲可以考慮 HBase、Redis、Cassandra、MongoDB，SQL 引擎可以使用 Hive、Impala、Phoenix、SparkSQL 等。
　　每一個組件都要深入理解簡直是不可能任務。我也聽說過有人說所謂大數(shù)據(jù)架構(gòu)師的工作就是把一些開源組件組裝成一個系統(tǒng)，我認為這種想法離架構(gòu)師的實際工作偏差是很大的。架構(gòu)就像蓋樓房打地基，地基不穩(wěn)，隨著樓層的增高，遲早要出問題。架構(gòu)師最先面對的是對系統(tǒng)需求的理解，這點非常重要，我認為在早期架構(gòu)師一定要是和產(chǎn)品經(jīng)理甚至客戶溝通最多的人。
　　此外，架構(gòu)師從一開始就要考慮的問題有很多，舉幾個大部分系統(tǒng)都會碰到的問題，系統(tǒng)將來如何擴展如何平滑升級，如何處理高并發(fā)，如何設計存儲，如何對時間空間作出權衡。聽上去好像無從下手，其實也沒有那么困難，我通常思考的第一個問題是有沒有自己做過的或者別人分享過的類似的成功架構(gòu)案例。所以架構(gòu)師的經(jīng)驗是很寶貴的。我在最初接觸大數(shù)據(jù)技術的時候就經(jīng)常參加現(xiàn)在的一些分享交流活動，去盡可能多聽一聽成功技術經(jīng)驗，現(xiàn)在回想起來對我的幫助很大。
　　另外，我覺得至關重要的一點是，架構(gòu)師要非常了解業(yè)務，不斷和產(chǎn)品經(jīng)理溝通，作為 toB 產(chǎn)品的系統(tǒng)架構(gòu)師，如果有機會也要不斷接觸最終用戶，理解需求。
3為什么要去做 To B 產(chǎn)品負責人
　　我覺得在這個市場上真正能深入行業(yè)的優(yōu)秀的 To B 產(chǎn)品經(jīng)理是非常稀缺的，養(yǎng)成周期也是比較長的，他需要在這個行業(yè)中不斷去接觸客戶，理解行業(yè)，進一步總結(jié)需求形成功能點。在 To B 創(chuàng)業(yè)公司往往最缺的就是這種既懂技術又懂業(yè)務的復合型人才。如果對行業(yè)理解不透，對客戶的需求理解不透，在產(chǎn)品上就會走彎路，這個代價是很大的，往往花了很大力氣，用了很多資源開發(fā)了一個在技術上很領先的功能，但對客戶卻沒有什么幫助。我也可以很坦誠的告訴大家像這樣的坑我們是趟過的。
　　產(chǎn)品經(jīng)理是對一個產(chǎn)品成敗的第一負責人，我渴望看到我可以推動一個具有先進技術產(chǎn)品能夠真正落地到一個行業(yè)，推動這個行業(yè)。所以這也是我從做技術到做產(chǎn)品的一個重要原因。從技術到產(chǎn)品并不意味著要放棄技術，恰恰相反，需要更加深入的從行業(yè)從場景方面了解技術，知道怎么用技術的提升產(chǎn)品。我在明略數(shù)據(jù)也繼續(xù)做著我喜歡的架構(gòu)師的工作，我也認為這對做產(chǎn)品負責人這個角色有很大幫助。
4知識工程與行業(yè)人工智能
　　我個人參與的明略數(shù)據(jù)的大數(shù)據(jù)關聯(lián)分析平臺 SCOPA 產(chǎn)品主要應用在公共安全領域，公安里面有很多警種，情報、技偵、網(wǎng)安等等，每個警種都有自己的數(shù)據(jù)，結(jié)構(gòu)化的非結(jié)構(gòu)化的都有，如何在這些異構(gòu)的數(shù)據(jù)基礎上建立統(tǒng)一的大數(shù)據(jù)模型是面臨諸多挑戰(zhàn)之一。公安是典型研究像人這樣的實體和實體之間關系的行業(yè)，背后用到的核心技術是知識工程和人工智能的相關的技術。
　　我們在與行業(yè) - 企業(yè)客戶日常工作中，都會運用到知識工程這一套融合了自然語言處理、知識圖譜構(gòu)建與存儲、知識檢索與推理等技術的智能平臺，將知識管理與特定行業(yè)業(yè)務相結(jié)合，在業(yè)務運營過程沉淀和積累行業(yè)知識，并將知識應用于未來的業(yè)務中，形成行業(yè)智慧，幫助整個行業(yè)實現(xiàn)生產(chǎn)能力的跨越式提升。其中構(gòu)成知識工程最核心的部分就是知識圖譜構(gòu)建與存儲，就比如目前運用在公安行業(yè)的 SCOPA 這款產(chǎn)品的背后就存儲的是一張巨大的知識網(wǎng)絡，我們把它叫做行業(yè)知識圖譜。知識圖譜這個概念最早由 Google 提出，主要是用來優(yōu)化搜索引擎，當你搜索微軟的時候，旁邊會出現(xiàn)相關人物比爾蓋茨。
　　知識圖譜的發(fā)展也助力很多人工智能場景的發(fā)展，我們目前生活中很多熱門的人工智能場景背后都有知識圖譜技術，比如語音助手siri，聊天機器人，智能問答等等。知識圖譜描述的是現(xiàn)實世界中的實體，以及實體之間的關系。知識圖譜的構(gòu)建是一件有挑戰(zhàn)性的工作，主要就是進行實體和關系的抽取，里面涉及到很多自然語言的技術與行業(yè)經(jīng)驗規(guī)則。大規(guī)模知識圖譜的存儲同樣需要考慮很多因素，我們采用了混合的存儲模型，包括圖存儲，列存儲和索引存儲，來加速對知識數(shù)據(jù)的查詢。
　　我們在產(chǎn)品中也用到了很多人工智能的技術。人工智能的發(fā)展和大數(shù)據(jù)是分不開的。最近最火的深度學習在數(shù)據(jù)肥沃且可以歸納學習的領域發(fā)展飛速。
　　隨著人工智能技術的發(fā)展，我認為在將來對于基本的機器學習問題的理解和開發(fā)能力會是程序員的基本技能之一?，F(xiàn)在的開源框架對很多人工智能場景已經(jīng)支持的不錯，可以參考的文檔和相關書籍也越來越多。我身邊有很多剛畢業(yè)的同事在學校的時候就已經(jīng)有機器學習的知識，也跟著教程開發(fā)過一些程序，比如一些簡單的分類器，進入工作崗位后面對實際行業(yè)問題后，特別是在有經(jīng)驗的工程師帶領去完成一個真正的機器學習任務，就會成長的特別快。
　　我特別想分享給大家的是，將一個新興的技術帶到一個實際行業(yè)中去解決實際問題，往大了點說，當看到你的工作真正在推動這個行業(yè)的發(fā)展，提高這個行業(yè)的效率，那么你的成就感就會被放大。結(jié)合大數(shù)據(jù)將人工智能技術落地到行業(yè)，比如在公安領域，我們就可以做到用結(jié)合人工智能技術的關聯(lián)挖掘分析平臺輔助警察進行研判工作，讓警察辦案效率大大提高。這是一件很酷的事情。