六月婷婷AV,国产偷窥猎奇福利二区,日韩三级片。,好吊色网站,日韩成人中文在线视频,国产亚洲午夜啪啪,亚洲欧美另类国产精品,国产成人av1,任你艹在线观看

不僅性能秒殺Hadoop,現(xiàn)在連分布式集群功能也開源了

Jeff Tao

2020-08-04 /

就在昨天(2020年8月3日),濤思數(shù)據(jù)團(tuán)隊正式宣布,物聯(lián)網(wǎng)大數(shù)據(jù)平臺TDengine集群版開源。此次開源,我們在GitHub上傳了23.9萬行源代碼,1198個源文件,包含我自己疫情期間寫的一萬余行C代碼,終于又了卻我一個心愿,不用再糾結(jié)。我們一個18人的團(tuán)隊,通過三年的努力,為全球物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)行業(yè)奉獻(xiàn)了一個開源的、具有超強(qiáng)性能和分布式集群功能的專業(yè)大數(shù)據(jù)平臺。

TDengine在去年7月開源單機(jī)版之后,獲得了極大的反響,下載量已經(jīng)超過百萬,每天clone代碼的超過一百,正式上線的系統(tǒng)已有數(shù)百個。除了中國用戶之外,還有來自美國、德國、法國、意大利、西班牙等全球各地的開發(fā)者。而這一年這些開發(fā)者們給我們最大的反饋是“TDengine性能超強(qiáng),確實比Hadoop快的太多太多,安裝部署也很簡單,但我們需要集群,我們需要高可靠,我們需要有應(yīng)對大數(shù)據(jù)量的處理方案”。

不僅性能秒殺Hadoop,現(xiàn)在連分布式集群功能也開源了 - TDengine Database 時序數(shù)據(jù)庫
TDengine 2.0 系統(tǒng)模塊圖

其實,TDengine的設(shè)計從一開始就是集群的,是基于硬件、軟件系統(tǒng)不可靠,一定會有故障的假設(shè)進(jìn)行設(shè)計的,是基于任何單臺計算機(jī)都無足夠能力處理海量數(shù)據(jù)的假設(shè)進(jìn)行設(shè)計的。只是作為一家商業(yè)公司,我們需要考慮如何盈利,業(yè)內(nèi)其他類似產(chǎn)品都是只開源單機(jī)版,將集群功能納入企業(yè)版,需要付費才能使用。因此在一年前宣布開源時,遵照慣例,我們也只開源了單機(jī)版。但一直以來,我都在思考:開源,就應(yīng)該把最核心的代碼開源,就應(yīng)該把市場剛需的那部分代碼開源,就應(yīng)該將自己最美、最有吸引力的地方展現(xiàn)出來,否則開發(fā)者為什么要用你的?核心痛點問題不解決,那可替代方案就很多,產(chǎn)品本身的推廣就會大打折扣,開源的價值就大為下降。

單機(jī)版開源后的市場的反饋更是堅定了我的想法:集群是剛需,是真正的痛點。我動了集群版開源的心思。但是,集群作為剛需也一直是我們銷售的一個亮點,如果開源,我們怎么贏利?這一問題令我糾結(jié)了很久,而團(tuán)隊小伙伴、尤其是銷售團(tuán)隊,也在我提出要在業(yè)內(nèi)率先將集群版開源時,直接提出質(zhì)疑和反對。

2019年底,我徹底想明白了,一定要將集群的代碼開源?;谝韵聨c,1:對于大數(shù)據(jù)平臺,沒有集群,就相當(dāng)于一個玩具,一個演示而已,誰也不會當(dāng)真;2:開源是基礎(chǔ)軟件行業(yè)大勢所趨,誰先真正擁抱開源,而不是假開源,誰就搶占先機(jī);3:只要全球超過30%以上的物聯(lián)網(wǎng)平臺都在使用TDengine,只要能給用戶創(chuàng)造真正的價值,公司一定能找到生存的途徑,一定能成功。

除開源集群版的呼聲之外,我們還收到了無數(shù)開發(fā)者給我們的反饋:BUG、性能問題、功能問題等等,GitHub上TDengine的issue已經(jīng)超過2800個??吹竭@么多issue,一方面為自己臉紅,因為自己都沒想到居然有這么多問題,但另外一方面,又很開心,因為這說明很多開發(fā)者在真正用我們的產(chǎn)品,喜愛我們的產(chǎn)品,我們找對了市場,我們的產(chǎn)品是有價值的。

這樣,2019年底,除了集群版開源外,我們還決定對TDengine的一些模塊,包括存儲引擎、計算引擎以及集群模塊等進(jìn)行重構(gòu)。這兩大決定都需要大量工作,因此,除創(chuàng)業(yè)之初的幾位大將,勝亮、小廖、洪澤之外,團(tuán)隊新鮮血液博民、李琿、怡豪等同學(xué)也加入進(jìn)來參與核心代碼的研發(fā)。而且為保證質(zhì)量,大幅提升產(chǎn)品穩(wěn)定性,我們引入了研發(fā)大牛樹多、肖平,讓他們搭建CI/CD, 負(fù)責(zé)自動化測試,寫下五萬多行Python程序,近千個測試?yán)?。我自己這個68年生的程序員,雖已大齡,但像以往一樣,又沖到了第一線,重構(gòu)了RPC、WAL以及SYNC模塊,新寫的C代碼超過一萬行,GitHub遞交的PR超過155個。

不僅性能秒殺Hadoop,現(xiàn)在連分布式集群功能也開源了 - TDengine Database 時序數(shù)據(jù)庫
濤思數(shù)據(jù)團(tuán)隊,拍攝于2019年10月

我的搭檔,另外一位50歲的程序員,20多年前就是NASDAQ上市公司CTO,曾任亞馬遜、思科全球高級副總裁,此時也挽起袖子,寫起程序。而且從零開始學(xué)Python,寫下了專門做并發(fā)、做系統(tǒng)破壞性測試的crash_gen.py (2800行)。這個程序讓每位研發(fā)同學(xué)都膽戰(zhàn)心驚,因為是專門找茬的,暴露的問題往往毫無頭緒,卻一定是程序問題。最開始30步都無法跑過,現(xiàn)在終于能無限的跑下去了。而這位搭檔,在我一年多前最初游說他加盟時其實興趣不大,不過,我和他談到今后世界上90%的數(shù)據(jù)都是時序空間的數(shù)據(jù),而如果大家都在用TDengine來進(jìn)行存儲、查詢,即使我們公司不贏利,那也是一件人生最值得自豪的事情,是可以在人類信息技術(shù)史上留下痕跡的事情。他終于義無反顧的加入,和大家一起,細(xì)細(xì)打磨產(chǎn)品,目標(biāo)只有一個,就是做一款有品位、能占領(lǐng)全球市場的產(chǎn)品。

今年的新冠疫情給全球經(jīng)濟(jì)重創(chuàng),我們這個小小的團(tuán)隊卻恰恰在此時靜下心來,重構(gòu)代碼,8個月的時間,犧牲了所有的周末,我們終于推出了2.0集群版。雖沒見過凌晨四點的洛杉磯,但我們經(jīng)常見凌晨四點的GitHub。如果去年開源的版本能打60分,那我給2.0版本打80分。不僅因為開源了集群,代碼重構(gòu)后,邏輯更加清晰、模塊劃分更加合理,便于維護(hù)、擴(kuò)展。更重要的是,我們開源了測試框架以及近千個測試?yán)?,而且將完整的設(shè)計文檔分享出來。我自己編寫的整體架構(gòu)設(shè)計、數(shù)據(jù)復(fù)制模塊設(shè)計等等文檔,都已經(jīng)在官網(wǎng)上公開,供大家瀏覽指正。

做一個60分的產(chǎn)品不難,有個不錯的主意,能動手寫點程序,立馬就能做出來。但要做到80分,就要付出更多的努力。而我的目標(biāo)是做一個能打99分的產(chǎn)品,因為做到99分時,就天下無敵,而且技術(shù)生涯才會畫一完美的句號。不過,從80分到99分,比從60分到80分,要多付出超10倍的努力。幸運的是,我們已經(jīng)有了一支很不錯的產(chǎn)品隊伍,而且有GGV、紅杉、明勢資本等機(jī)構(gòu)超過2000萬美元的投資,相信只要能堅持靜心做產(chǎn)品,專注下去,我們一定能做到99分。

我總感慨自己幸運,在90年代初去美國留學(xué)工作,趕上美國互聯(lián)網(wǎng)行業(yè)大爆發(fā),正值中國經(jīng)濟(jì)騰飛之時,我又回到北京創(chuàng)業(yè)。如今,在接近退休的年齡,居然又發(fā)現(xiàn)了一個嶄新的機(jī)會,而且是一個特別適合程序員老司機(jī)的機(jī)會——做底層軟件的開發(fā)。不僅做整體架構(gòu)的設(shè)計,還要動手寫代碼、debug、寫文檔,天天和團(tuán)隊80后、90后同學(xué)們一起戰(zhàn)斗,樂此不疲。每每想到這里,我都會慶幸自己3年前的選擇,也慶幸自己選擇了開源的道路。如果沒有這個選擇,我和太太應(yīng)該正在世界各地旅行,品嘗美食,陪她流連于美術(shù)館博物館,過著人人羨慕的日子,但我想,那才是真正的隨時光老去,因為世界已經(jīng)不需要我的存在。

集群版都開源了,也許付費用戶真的會變少,但那就隨他去吧。我絕不會像有些廠商一樣,先開源,然后閉源。只要有人用,而且用的人多,就是對我、對我們團(tuán)隊最大的獎勵。哪怕是大家開噴,指出各種問題,我也會特別開心,因為只要有問題,我們就會好好地去改進(jìn),用心地去做。即使真有一天,我們連一個18人團(tuán)隊都無法養(yǎng)活,我也會繼續(xù)做下去,會每天把產(chǎn)品細(xì)細(xì)地打磨,直到我無法動彈的一天,因為這是我最大的樂趣,我把TDengine當(dāng)作我人生最后一幅作品,而且是一幅可以讓我持續(xù)打磨到老的作品。

一年前開源時,我曾說過:“錢再多,也難讓人在歷史上留下痕跡,但一幅好的作品卻可以傳承,讓后人好好的品味。愿我領(lǐng)頭開發(fā)的TDengine成為傳世之作,Leave a dent in the world!”,  今天再將這一段“初心”寫一遍,希望這次集群版的開源,能夠讓TDengine離傳世之作更近一步。