(資料圖片僅供參考)
因為眾所周知的原因,俄羅斯開發者在開源領域遭到了各種 “不公正” 的對待。但即便如此,俄羅斯大型科技公司 Yandex 近日依然在 GitHub 上開源了一個項目,該項目名為YTsaurus,這是一個用于存儲和處理大數據的平臺,大多數 Yandex 服務均在使用。
Yandex 分布式計算的負責人 Maxim Babenko 表示:
Yandex 自 2010 年以來一直在開發 YTsaurus(在內部稱之為 YT)。因為市場上沒有一個解決方案可以滿足我們所有的要求,我們決定開始建立自己的大數據生態。現在 YTsaurus 是 Yandex 內部基礎設施的關鍵技術之一。
根據官方說法,YTsaurus 適用于廣泛的任務,從數據分析到訓練具有數十億參數的復雜模型。例如:Yandex Search 用它建立搜索索引、自動駕駛汽車用它來處理海量數據和改進算法、YTsaurus 還管理著 Yandex 的超級計算機,分配負載,使計算能力得到盡可能有效的利用。
YTsaurus 具有的平臺優勢包括:
多租戶生態可靠性和穩定性可擴展性豐富的功能由 ClickHouse 提供支持的 CHYT由 Apache Spark 提供支持的 SPYTYandex Cloud 的負責人 Alexey Bashkeev 則表示:
YTsaurus 已經在 Yandex 內部證明了自己,現在我們把它提供給所有開發者。在數以千計的服務器上處理大量數據,并且負載不斷增加的大公司將獲得最大收益。我們相信將 YTsaurus 開源可以使其進入一個新的發展階段,正如我們的其他產品那樣。
YTsaurus 的源代碼和文檔都可以在 GitHub 上找到,該項目采用的是 Apache 2.0 許可
標簽: