欧美在线专区-欧美在线伊人-欧美在线一区二区三区欧美-欧美在线一区二区三区-pornodoxxx中国妞-pornodoldoo欧美另类

position>home>Spotlights

京東Flink優化與技術實踐

[導讀]Flink是京東踐目前流式處理領域的熱門引擎,具備高吞吐、化技低延遲的術實特點,在實時數倉、京東踐實時風控、化技實時推薦等多個場景有著廣泛的術實應用。


京東Flink優化與技術實踐

分 享嘉賓: 付海濤 京 東 高級技術專家

編輯整理:趙明明

出品平臺:DataFunTalk

導讀:Flink是京東踐目前流式處理領域的熱門引擎,具備高吞吐、化技低延遲的術實特點,在實時數倉、京東踐實時風控、化技實時推薦等多個場景有著廣泛的術實應用。京東于2018年開始基于Flink+K8s深入打造高性能、京東踐穩定、化技可靠、術實易用的實時計算平臺,支撐了京東內部多條業務線平穩度過618、雙11多次大促。本次講演將分享京東Flink計算平臺在容器化實踐過程中遇到的問題和方案,在性能、穩定性、易用性等方面對社區版Flink所做的深入的定制和優化,以及未來的展望和規劃。主要內容包括:

  • 實時計算演進

  • Flink容器化實踐

  • Flink優化改進

  • 未來規劃

01
實時計算引進
1.發展歷程

最初大數據的模式基本都是T+1,但是隨著業務發展,對數據實時性的要求越來越高,比如對于一個數據,希望能夠在分鐘級甚至秒級得到計算結果。京東是在2014年開始基于Storm打造第一代流式計算平臺,并在Storm的基礎上,做了很多優化改進,比如基于cgroup實現對worker使用資源的隔離、網絡傳輸壓縮優化、引入任務粒度toplogy master分擔zk壓力等。到2016年,Storm已經成為京東內部流式處理的最主要的計算引擎,服務于各個業務線,可以達到比較高的實時性。

隨著業務規模的不斷擴大,Storm也暴露出許多問題,特別是對于吞吐量巨大、但是對于延遲不是那么敏感的業務場景顯得力不從心。于是,京東在2017年引入了Spark Streaming流式計算引擎,用于滿足此類場景業務需要。

隨著業務的發展,不光是對于數據的延遲有很高要求,同時對于數據的吞吐處理能力也有很高的要求,所以迫切需要一個兼具低延遲和高吞吐能力的計算框架,于是在2018年我們引入了Flink。在Flink社區版的基礎上,我們從性能、穩定性、易用性還有功能等方面,都做了一些深入的定制和優化。同時我們基于k8s實現了實時計算全面的容器化,因為容器化有很多的優點,它可以做到很好的資源隔離,同時它有一個很強的自愈能力,另外它很容易實現資源的彈性調度。同時我們基于Flink打造了全新的SQL平臺,降低用戶開發實時計算應用的門檻。

到2020年,基于Flink和k8s實時計算平臺已經做的比較完善了。過去流式處理是我們關注的重點,今年我們也開始逐漸的支持批處理,朝著批流一體的方向演進。另外AI是目前比較火的一個方向,對于AI來說,它的實時化也是一個重要的研究方向。所以我們的實時計算平臺將會朝著批流一體和AI的方向進行發展。

2.平臺架構


上面是京東實時計算平臺JRC的整體架構,整個架構以定制化改造后的Flink為核心,Flink運行在K8S上,狀態存儲在HDFS集群上,通過Zookeeper保證集群的高可用。支持流式源JDQ(京東基于Kafka深入定制實現的實時數據總線)和Hive,數據主要寫入JimDB(京東內存數據庫)、ES、Hbase和京東OLAP。計算平臺支持SQL和普通JAR包兩種方式的作業,具有配置、部署、調試、監控、和日志處理等功能。

3. 業務場景



京東Flink服務于京東內部非常多的業務線,有70多個一級部門在使用,主要應用場景包括實時數倉,實時大屏,實時推薦,實時報表,實時風控和實時監控,當然還有其他一些應用場景。對數據計算實時性有一定要求的場景,一般都會使用Flink進行開發。


4. 業務規模


京東Flink集群目前由5000多臺物理機組成,它服務了京東內部70多個一級業務部門,目前線上的流計算任務大概有3000多個,數據的處理能力可以達到每分鐘數十億甚至更高。

02
Flink容器化實踐

1.容器化歷程


京東從2018年開始進行計算引擎的容器化改造,2019年初已經實現計算單元全部容器化,2020年進行了容器化方案升級,使用native k8s實現計算資源的彈性擴容。容器化改造的好處是提升了資源使用率,提高了研發效率,增強了業務穩定性,減少了運維部署成本。

2.容器化方案


舊的容器化方案是基于k8s Deployment部署的Standalone Session集群,它需要事先預估出集群所需資源,比如需要的JobManager和TaskManager的資源規格和個數。然后JRC平臺通過K8S客戶端向K8S Master提出請求,創建JobManager的Deployment和TaskManager的Deployment。其中使用ZK保證高可用,使用Hdfs實現狀態存儲,使用Prometheus實現監控指標的上傳,結合Grafana實現指標的直觀展示。集群使用ES存儲日志,方便日志的查詢。

3.容器化遇到的問題&對策

容器化過程中可能遇到很多問題:

①?JM/TM故障自動恢復

應用部署在容器中,當應用出現異常時,如何發現應用或者異常的情況呢?比如可以使用存活探針,編寫檢測腳本定期讀取應用的心跳信息。當檢測到Pod處于不健康狀態時,可以采用k8s的重啟機制來重啟不健康的容器。

減少Pod異常對業務影響

在k8s中由于硬件異常、資源過載、Pod不健康等問題會導致Pod被驅逐或自動重啟,Pod重啟時勢必會影響到該Pod上分布計算任務的正常運行。這個時候可以考慮采用適當的重啟策略、改造內核等方案來減少對任務影響。比如京東實現了JM Failover優化,當Pod異常引起JM Failover時采用的是任務不恢復、重建任務狀態恢復的方式,可以一定程度上減少Pod重啟對業務帶來的影響。

性能問題

在容器環境下,JVM對cpu和內存的感知會有一定的問題,在Java8版本中,一些參數就要進行顯式的設置。對于機器性能差異或熱點等問題導致部分Pod計算慢的問題,可以考慮進行針對性優化(比如實現基于負載的數據分發)或處理(比如檢測到計算慢的Pod將其驅逐到負載較低的機器)。此外,對于使用容器網絡的情況下,可能會帶來一定的網絡性能損耗,此時可以根據情況選擇使用主機網絡避免網絡虛擬化帶來的開銷,或者選擇更高性能的網絡插件。

重要業務穩定性

如何保證業務的穩定性是一個需要重點考慮的問題。除了保證系統各個環節的高可用外,還可以根據業務情況考慮使用其它合理的方案,例如業務分級管理,獨立資源池,多機房互備等。

4.容器化方案升級(Native k8s)


原有容器化方案存在一定的問題:

  • 資源需要提前分配

  • 無法實現資源彈性伸縮

  • 極端場景下Pod不能正常拉起,影響任務恢復

  • 重要業務穩定性

容器化升級的解決方案是采用Native K8s的方式。由JRC平臺先向K8S Master發出請求,創建JobManager的Deployment;然后在用戶通過Rest服務提交任務后,由JobMaster通過JDResourceManager 向JRC平臺發出請求,然后JRC平臺向 K8s Master 動態申請資源去創建運行TaskManager 的Pod。

此處,通過引入JRC平臺與K8s交互,屏蔽了不同容器平臺的差異,解耦了鏡像與平臺集群配置&邏輯變化。另外,為了兼容原有Slot分配策略,在提交任務時會預估出任務所需資源并一次性申請,之后采用等待一定時間后進行slot分配的方式達到兼容目的。

03
Flink優化改進


主要做了以下四個方面的優化:

  • 性能

  • 穩定性

  • 易用性

  • 功能擴展

下邊分幾個重要的點進行講解:

1.預覽拓撲

預覽拓撲主要是為了解決業務的一些痛點:比如任務調優繁瑣、SQL任務無法指定并行度、任務需要的額Slot數不清楚、并行度調整后網絡buffer不足等。在Flink任務調試階段,對任務并行度、Slot分組、Chaining策略的調整是個反復的過程,如果把參數寫到命令行就太繁瑣了。而基于預覽拓撲就可以很方便地對這些參數進行配置。

預覽拓撲基本的實現方案如上圖:用戶提交JAR包后可根據JAR包生成對應的拓撲圖,之后用戶根據拓撲圖可以進行在線調整,最后自動將修改后的配置和原來的JAR包一起進行任務提交。

預覽拓撲機制使得不修改程序多次提交任務調優成為可能,但是如何保證前后兩次提交生成算子穩定的對應關系呢?解決方案的關鍵是保證算子有穩定的唯一身份標識,具體算法是:如果算子指定了uidHash就用uidHash,如果算子指定了uid就使用uid,否則就從source開始廣度優先遍歷,利用算子在graph中的位置生成一個穩定hash值。

2.背壓量化


第二個重要的優化是背壓量化。

在Flink開發的時候,主要有兩種方式:

通過Flink UI背壓面板觀察是否背壓。使用這種方式在某些場景比較方便,但是它存在幾個問題:

  • 在有些場景下采集不到背壓

  • 對于歷史背壓情況無法跟蹤

  • 背壓影響不直觀

  • 大并行度時背壓采集壓力

通過任務背壓相關指標進行觀察和分析,通過將指標定期采集并存儲起來,可以進行實時或歷史的背壓分析。但是它也有一些不足的地方:

  • 不同Flink版本中指標含義有一定差異

  • 分析背壓有一定門檻,需要對于指標含義有深入理解,聯合進行分析

  • 背壓未量化,對業務影響程度不夠直觀

京東的解決方案是采集背壓發生的位置、時間和次數指標,并對這些指標進行上報存儲。同時對量化的背壓指標結合運行時拓撲,可以精確反映發生背壓現場的情況。

3.HDFS優化


隨著業務數量的增多,HDFS集群的壓力就會變得很大。這會直接導致RPC響應時間變慢,造成請求堆積,同時大量小文件也會對NN內存造成很大壓力。對此京東嘗試的解決方案有4方面:限制checkpoint最小間隔,時間最小設置在1min左右可以滿足大部分業務需求;進行小文件合并;降低cp創建和刪除時的hdfs rpc請求;HDFS集群多ns分散均衡壓力。

4.網絡分發優化


在實踐過程中我們發現,即使業務使用了rebalance并且對任務進行了打散分布,但是由于機器處理能力和負載的差異,會導致任務各個并行度不同程序的背壓表現,嚴重影響了任務的性能。為此,我們開發了基于負載的動態rebalance,在數據進行分發時優先選擇下游負載最小的channel進行分發。

經測試,在特定場景下性能能夠提升近一倍。

5.ZK防抖



目前一般都是使用ZK集群實現Flink集群的高可用,但是當網絡抖動、機器繁忙、ZK集群暫時無響應或運維機器的時候,都可能會導致任務重啟。

任務重啟的原因是由于在這些場景發生時,Curator會將狀態設置為suspended,并且Curator認為suspended為Error狀態,從而會釋放leader,Flink發現notleader后會revokeLeadership,從而造成任務重啟。

一個可行的解決辦法是升級Curator的版本,同時將connectionStateErrorPolicy設置為SessionConnetionStateErrorPolicy。

6.日志分離



目前我們一個集群是支持跑多個任務的,這時日志會出現的問題是:任務的日志和集群Framework日志混在一起,同時集群的多個任務日志也是混在一起的,不太方便用戶查看日志,快速定位問題。

為了解決這個問題,首先要弄清楚目前Flink加載日志框架的基本機制:為了避免跟業務Job中可能包含的日志框架的依賴、配置文件產生沖突,Flink日志相關類的加載都代理給TaskManager框架的類加載器,也就是Parent Classloader,而框架加載的這些類都是從Flink安裝包的lib目錄下加載的。對于日志配置文件,Flink通過 JVM 啟動參數來指定配置日志配置文件路徑。

日志分離的解決方案是:將日志相關jar包加入到各個task自己classloader(user classloader)的類路徑中;同時確保使用user classloader加載日志類和加載自己的日志配置;

另外對于使用了Flink框架的類(比如PrintSinkFunction),日志不能做到很好的分離,可以考慮使用logback MDC機制。

04
未來規劃

未來規劃主要包括四個方面:

統一計算引擎

引擎Storm全部升級為Flink,這樣可以減少平臺的運維成本,同時可以提高作業性能(目前已經接近完成)。

更多SQL作業

持續完善SQL平臺,降低用戶的使用門檻,推動用戶更多使用SQL開發作業。

智能運維

使用智能診斷,自適應調整運行參數,提升任務的魯棒性

批流一體

深度打造批流一體實時計算平臺,兼具低延遲的流處理和高性能的批處理能力。另外統一架構,實現代碼復用,降低用戶的使用成本。

今天的分享就到這里,謝謝大家。

特別推薦一個分享架構+算法的優質內容,還沒關注的小伙伴,可以長按關注一下:

長按訂閱更多精彩▼

如有收獲,點個在看,誠摯感謝

免責聲明:本文內容由21ic獲得授權后發布,版權歸原作者所有,本平臺僅提供信息存儲服務。文章僅代表作者個人觀點,不代表本平臺立場,如有問題,請聯系我們,謝謝!

Popular articles

主站蜘蛛池模板: 玩乡下小处雏女免费视频| 日本成人在线免费| 好男人在线社区www| 8x在线播放| 18观看免费永久视频| 老师你的兔子好软水好多的车视频| 日本电车强视频在线播放| 又粗又硬又大又爽免费观看| 欧美巨大黑人精品videos| 红字电影| 8888奇米影视笫四色88me| 在线观看三级激情视频| 丰满的奶水边做边喷| 好男人社区www在线观看| 九色视频网址| 真实国产乱子伦对白视频 | 色老太bbw| 被cao的合不拢腿的皇后| 无人在线观看视频高清视频8| 亚洲人成网亚洲欧洲无码 | 性初第一次电影在线观看| 公车校花小柔h| 我和岳乱妇三级高清电影| 国产悠悠视频在线播放| 影音先锋男人站| 日本视频免费高清一本18| 花季app色版网站免费| 国产精品爽爽va在线观看网站| 欧美色欧美亚洲高清在线观看| 欧美日韩三级在线观看| 亚洲国产毛片| 久久99久久99精品免观看| 三级极精品电影| 日本三级hd| 把她抵在洗手台挺进撞击视频| 在线欧美自拍| 国产粉嫩嫩00在线正在播放| 波多野结衣女同| 国产精品久久国产精品99| 韩国三级最新理论电影| 风间由美性色一区二区三区|