该站未曾设置keywords

该站未曾设置description

俊瑶先森www.junyao.tech于2024-04-13 11:53:22由该站站长自助申请提交或根据来路被便民库自助收录，便民库仅展示俊瑶先森www.junyao.tech网站的基础信息，www.junyao.tech的IP地址：118.89.31.232 [中国广东广州 腾讯云]，www.junyao.tech的百度权重为1、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在1之间、百度手机端来访流量大约在1之间、www.junyao.tech的备案号是粤ICP备15028622号、备案人叫深圳市锐策互动科技有限公司、被百度收录的关键词有2个、手机端关键词有0个、迄今为止已经创建6年3月19天。

如此站不想被收录或存在违法违规内容，请联系我们删除

俊 瑶 先 森 俊 瑶 先 森 首 页 归 档 1 6 5 关 于 文 章 目 录 站 点 概 览 j u n y a o 1 6 5 日 志 2 标 签 G i t H u b E M a i l 微 博 M a c M 2 之 C h a t G L M 3 6 B 大 模 型 私 有 化 部 署 发 表 于 2 0 2 4 0 2 1 3 阅 读 次 数 ： 环 境 与 背 景 在 特 定 的 情 况 下 ， 要 保 证 信 息 安 全 的 同 时 还 能 享 受 到 A I G C 大 模 型 带 来 的 乐 趣 和 功 能 ， 那 么 ， 私 有 化 部 署 就 能 帮 助 到 你 ， 最 起 码 ， 它 是 一 个 真 正 可 用 的 方 案 。 私 有 化 部 署 指 的 是 将 A I 应 用 部 署 在 企 业 内 部 的 服 务 器 上 ， 而 非 云 端 。 这 种 部 署 方 式 可 以 在 保 证 数 据 安 全 的 同 时 ， 提 高 企 业 对 于 自 身 数 据 资 产 的 控 制 权 。 简 单 描 述 下 本 地 电 脑 的 配 置 ： 处 理 器 ： A p p l e M 2 P r o 内 存 ： 3 2 G B 系 统 ： 1 4 . 3 . 1 ( 2 3 D 6 0 ) 本 次 只 是 初 步 评 估 C h a t G L M 3 6 B 的 效 果 ， 尽 可 能 在 已 有 本 地 设 备 的 情 况 下 进 行 低 成 本 本 地 模 型 部 署 ， 如 果 要 更 好 的 效 果 ， 还 是 上 专 业 的 硬 件 设 备 。 M A C 部 署 C h a t G L M 3 下 载 1 g i t c l o n e h t t p s : / / g i t h u b . c o m / T H U D M / C h a t G L M 3 但 是 ， 默 认 里 面 是 没 有 模 型 的 ， 只 有 自 带 的 简 单 的 聊 天 项 目 以 及 相 关 的 接 口 示 例 项 目 ， 还 得 继 续 下 载 模 型 。 C h a t G L M 3 6 B 模 型 下 载 当 然 ， 如 果 你 自 己 不 下 载 这 些 模 型 ， 这 些 模 型 就 会 在 运 行 的 时 候 自 动 下 载 ( 网 络 不 好 的 话 会 影 响 使 用 体 验 ， 所 以 ， 建 议 提 前 下 载 ) 1 2 3 4 g i t l f s i n s t a l l g i t c l o n e h t t p s : / / h u g g i n g f a c e . c o / T H U D M / c h a t g l m 3 6 b 或 者 g i t c l o n e h t t p s : / / w w w . m o d e l s c o p e . c n / Z h i p u A I / c h a t g l m 3 6 b . g i t 项 目 配 置 和 部 署 把 下 载 的 服 务 直 接 放 到 需 要 运 行 的 地 方 ， 然 后 执 行 p y t h o n 环 境 管 理 1 2 c o n d a c r e a t e n a m e c h a t g l m 3 p y t h o n = 3 . 1 0 c o n d a a c t i v a t e c h a t g l m 3 然 后 ， 进 入 到 主 项 目 中 ， 开 始 配 置 一 些 环 境 1 2 3 4 c d C h a t G L M 3 p i p i n s t a l l r r e q u i r e m e n t s . t x t i h t t p s : / / m i r r o r . s j t u . e d u . c n / p y p i / w e b / s i m p l e p i p l i s t / / 查 看 安 装 了 什 么 包 p i p s h o w o p e n a i / / 查 看 包 安 装 到 了 哪 里 可 以 看 到 ， 实 际 上 我 们 可 以 运 行 7 种 案 例 。 基 础 例 子 ( c l i _ d e m o , w e b _ d e m o _ s t r e a m l i t ) 综 合 例 子 ( 聊 天 ， 工 具 ， 代 码 解 释 ) 模 型 微 调 类 似 于 l a n g c h a i n 的 案 例 o p e n a i 接 口 的 案 例 T e n s o r R T L L M 推 理 部 署 工 具 调 用 目 前 ， 只 有 第 二 个 的 综 合 例 子 ， 是 比 较 有 趣 的 ， 就 以 它 为 案 例 进 行 配 置 修 改 。 c o m p o s i t e _ d e m o 例 子 看 到 ， 这 个 d e m o 下 还 有 r e q u i r e m e n t s . t x t 文 件 ， 我 们 把 他 给 安 装 了 1 p i p i n s t a l l r r e q u i r e m e n t s . t x t i h t t p s : / / m i r r o r . s j t u . e d u . c n / p y p i / w e b / s i m p l e 演 示 中 使 用 C o d e I n t e r p r e t e r 还 需 要 安 装 J u p y t e r 内 核 ： 1 2 p i p i n s t a l l i p y k e r n e l i h t t p s : / / m i r r o r . s j t u . e d u . c n / p y p i / w e b / s i m p l e i p y t h o n k e r n e l i n s t a l l n a m e c h a t g l m 3 u s e r 接 着 修 改 c l i e n t . p y 里 面 的 配 置 信 息 1 2 / / 修 改 M O D E L _ P A T H , c h a t g l m 3 6 b 绝 对 路 径 M O D E L _ P A T H = o s . e n v i r o n . g e t ( M O D E L _ P A T H , / U s e r s / j u n y a o / D e s k t o p / c h a t g l m / c h a t g l m 3 6 b ) 对 于 搭 载 了 A p p l e S i l i c o n 或 者 A M D G P U 的 M a c ， 可 以 使 用 M P S 后 端 来 在 G P U 上 运 行 C h a t G L M 3 6 B 。 需 要 参 考 A p p l e 的 官 方 说 明 安 装 P y T o r c h N i g h t l y （ 正 确 的 版 本 号 应 该 是 2 . x . x . d e v 2 0 2 3 x x x x ， 而 不 是 2 . x . x ） 。 1 2 p i p u n i n s t a l l t o r c h t o r c h v i s i o n t o r c h a u d i o p i p i n s t a l l p r e t o r c h t o r c h v i s i o n t o r c h a u d i o e x t r a i n d e x u r l h t t p s : / / d o w n l o a d . p y t o r c h . o r g / w h l / n i g h t l y / c p u 使 用 命 令 1 p i p l i s t | g r e p t o r c h 看 到 类 似 这 样 的 带 d e v 的 就 可 以 下 一 步 了 1 2 3 t o r c h 2 . 3 . 0 . d e v 2 0 2 3 1 2 2 4 t o r c h a u d i o 2 . 2 . 0 . d e v 2 0 2 3 1 2 2 4 t o r c h v i s i o n 0 . 1 8 . 0 . d e v 2 0 2 3 1 2 2 4 将 c l i e n t . p y 中 d e v i c e _ m a p = a u t o 改 为 d e v i c e _ m a p = m p s 1 3 6 1 4 0 行 1 2 3 4 5 s e l f . m o d e l = A u t o M o d e l . f r o m _ p r e t r a i n e d ( m o d e l _ p a t h , t r u s t _ r e m o t e _ c o d e = T r u e , c o n f i g = c o n f i g , d e v i c e _ m a p = m p s ) . e v a l ( ) 1 5 0 行 1 s e l f . m o d e l = A u t o M o d e l . f r o m _ p r e t r a i n e d ( M O D E L _ P A T H , t r u s t _ r e m o t e _ c o d e = T r u e , d e v i c e _ m a p = m p s ) . e v a l ( ) 然 后 ， 执 行 以 下 命 令 启 动 服 务 1 s t r e a m l i t r u n m a i n . p y 效 果 展 示 这 回 答 速 度 真 绝 ， 非 常 的 快 。 对 话 模 式 输 入 你 是 谁 ， 它 就 输 自 动 的 输 出 信 息 ， 速 度 还 挺 快 。 而 控 制 台 也 会 显 示 你 输 入 的 信 息 以 及 返 回 的 信 息 。 工 具 模 式 工 具 模 式 ， 需 要 自 己 先 定 义 工 具 ， 我 这 边 没 有 定 义 ， 有 兴 趣 的 可 以 整 一 下 。 以 下 是 自 带 的 工 具 进 行 的 演 示 : 我 调 用 了 一 个 查 询 天 气 的 工 具 ( t o o l _ r e g i s t r y . p y ) 文 件 可 以 看 到 g e t _ w e a t h e r 的 代 码 代 码 解 释 器 模 式 总 结 一 开 始 的 时 候 ， 没 有 按 照 A p p l e 的 官 方 说 明 安 装 P y T o r c h N i g h t l y ， 并 配 置 M P S ， 结 果 效 果 喜 人 ， 一 直 在 推 理 。 后 来 配 置 后 ， 感 觉 速 度 不 亚 于 c h a t g p t 3 . 5 ， 答 复 效 果 也 非 常 好 。 下 一 步 开 始 使 用 c h a t G L M 搭 建 私 有 知 识 库 。 D a t a X 之 离 线 数 据 源 同 步 实 践 发 表 于 2 0 2 4 0 2 1 2 阅 读 次 数 ： 背 景 ​ D a t a X 是 一 个 异 构 数 据 源 离 线 同 步 工 具 ， 本 次 需 求 是 定 时 调 度 数 据 库 ， m o n g o d b 、 m y s q l 定 时 同 步 到 e s m o n g o d b 、 m y s q l 定 时 同 步 到 S t a r R o c k s 原 则 是 要 配 合 海 豚 调 度 D o l p h i n S c h e d u l e r ， 但 是 D o l p h i n S c h e d u l e r 目 前 看 有 点 重 ， 晚 点 评 估 。 j o b m y s q l 同 步 S t a r R o c k s 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 3 7 3 8 3 9 4 0 4 1 4 2 4 3 4 4 4 5 4 6 4 7 4 8 4 9 5 0 5 1 5 2 5 3 5 4 5 5 5 6 5 7 5 8 5 9 6 0 6 1 6 2 6 3 6 4 6 5 6 6 6 7 6 8 6 9 7 0 7 1 7 2 7 3 7 4 7 5 7 6 7 7 7 8 7 9 8 0 8 1 8 2 8 3 8 4 8 5 8 6 8 7 8 8 8 9 9 0 9 1 9 2 9 3 9 4 9 5 9 6 9 7 , e r r o r L i m i t : } , c o n t e n t : [ ] } } , w r i t e r : ] , l o a d U r l : [ 1 9 2 . 1 6 8 . 1 0 3 . 2 0 2 : 8 0 4 0 / / F E 的 h t t p p o r t , 这 里 直 接 用 C N 的 p o r t ] , l o a d P r o p s : } } } ] } } m o n g o d b 同 步 e s 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 3 7 3 8 3 9 4 0 4 1 4 2 4 3 4 4 4 5 4 6 4 7 4 8 4 9 5 0 5 1 5 2 5 3 5 4 5 5 5 6 5 7 5 8 5 9 6 0 6 1 6 2 6 3 6 4 6 5 6 6 6 7 6 8 6 9 7 0 7 1 7 2 7 3 7 4 7 5 7 6 7 7 7 8 7 9 8 0 8 1 8 2 8 3 8 4 8 5 8 6 8 7 } , c o n t e n t : [ , , ] } } , w r i t e r : } , d i s c o v e r y : f a l s e , b a t c h S i z e : 1 0 0 0 , s p l i t t e r : , , c o l u m n : [ , , ] } } } ] } } 启 动 1 2 3 $ c d / b i n $ p y t h o n d a t a x . p y s e a t u n n e l c d c 入 湖 实 践 发 表 于 2 0 2 4 0 2 1 1 更 新 于 2 0 2 4 0 4 0 7 阅 读 次 数 ： 背 景 开 始 统 一 数 仓 ， s e a t u n n e l 评 估 一 轮 m o n g o d b c d c m o n g o d b c d c 实 时 同 步 m y s q l 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 3 7 3 8 3 9 4 0 4 1 4 2 4 3 4 4 4 5 4 6 4 7 e n v s o u r c e } } } t r a n s f o r m } } s i n k } m o n g o d b c d c 实 时 同 步 s t a r r o c k s 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 3 7 3 8 3 9 4 0 4 1 4 2 4 3 4 4 4 5 4 6 4 7 4 8 4 9 5 0 5 1 5 2 5 3 5 4 e n v s o u r c e } } } t r a n s f o r m } } s i n k } m o n g o d b c d c 实 时 同 步 e s 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 3 7 3 8 3 9 4 0 4 1 4 2 4 3 4 4 4 5 e n v s o u r c e } } } t r a n s f o r m } } s i n k } s q l s e r v e r c d c 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 启 用 C D C 功 能 E X E C s y s . s p _ c d c _ e n a b l e _ d b ; 确 认 S Q L S e r v e r A g e n t 已 开 启 E X E C m a s t e r . d b o . x p _ s e r v i c e c o n t r o l N Q U E R Y S T A T E , N S Q L S E R V E R A G E N T 判 断 当 前 数 据 库 是 否 启 用 了 C D C （ 如 果 返 回 1 ， 表 示 已 启 用 ） S E L E C T n a m e , i s _ c d c _ e n a b l e d F R O M s y s . d a t a b a s e s W H E R E i s _ c d c _ e n a b l e d = 1 ; 查 询 s c h e m a _ i d S E L E C T * F R O M s y s . s c h e m a s 判 断 当 前 数 据 表 是 否 启 用 了 C D C （ 如 果 返 回 1 ， 表 示 已 启 用 ） S E L E C T n a m e , i s _ t r a c k e d _ b y _ c d c , s c h e m a _ i d F R O M s y s . t a b l e s W H E R E i s _ t r a c k e d _ b y _ c d c = 1 ; s o u r c e _ s c h e m a 是 表 所 属 的 架 构 （ s c h e m a ） 的 名 称 。 s o u r c e _ n a m e 是 要 启 用 C D C 跟 踪 的 表 的 名 称 。 c d c _ r o l e 是 C D C 使 用 的 角 色 的 名 称 。 如 果 没 有 指 定 角 色 名 称 ， 系 统 将 创 建 一 个 默 认 角 色 。 E X E C s y s . s p _ c d c _ e n a b l e _ t a b l e @ s o u r c e _ s c h e m a = w m w h s e 1 , @ s o u r c e _ n a m e = P I C K D E T A I L , @ r o l e _ n a m e = c d c _ r o l e ; 一 次 核 验 是 否 开 启 C D C U S E S C P R D ; G O E X E C s y s . s p _ c d c _ h e l p _ c h a n g e _ d a t a _ c a p t u r e G O 启 动 1 2 3 4 开 始 . / b i n / s e a t u n n e l . s h c o n f i g . / e x a m p l e / m o n g o 2 s r 3 e l o c a l / / 恢 复 . / b i n / s e a t u n n e l . s h c o n f i g . / e x a m p l e / m o n g o 2 s r 3 r e l o c a l S t a r R o c k s 之 K 8 S 4 层 代 理 T C P 发 表 于 2 0 2 4 0 2 1 0 更 新 于 2 0 2 4 0 2 1 2 阅 读 次 数 ： 背 景 内 网 k 8 s 集 群 需 求 ： S t a r R o c k s 的 9 0 3 0 端 口 或 m y s q l 的 3 3 0 6 端 口 需 要 暴 露 出 去 ， 而 他 们 T C P 协 议 ， 是 L 4 层 服 务 ， 而 i n g r e s s 是 h t t p 协 议 ， 是 L 7 层 服 务 ， 不 能 使 用 i n g r e s s 暴 露 出 去 k 8 s S t a r r o c k s 情 况 s e r v i c e s : s t a r r o c k s / s t a r r o c k s c l u s t e r f e s e r v i c e 相 关 配 置 d e p l o y m e n t : i n g r e s s n g i n x c o n t r o l l e r 配 置 增 加 h o s t N e t w o r k : t r u e ， p o d 中 运 行 的 应 用 程 序 可 以 直 接 看 到 宿 主 主 机 的 网 络 接 口 ， 宿 主 机 所 在 的 局 域 网 上 所 有 网 络 接 口 都 可 以 访 问 到 该 应 用 程 序 及 端 口 增 加 t c p s e r v i c e s c o n f i g m a p = $ ( P O D _ N A M E S P A C E ) / t c p s e r v i c e s 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 s p e c : h o s t N e t w o r k : t r u e / / 增 加 c o n t a i n e r s : n a m e : c o n t r o l l e r i m a g e : d y r n q / i n g r e s s n g i n x c o n t r o l l e r : v 1 . 6 . 4 a r g s : / n g i n x i n g r e s s c o n t r o l l e r e l e c t i o n i d = i n g r e s s n g i n x l e a d e r c o n t r o l l e r c l a s s = k 8 s . i o / i n g r e s s n g i n x i n g r e s s c l a s s = n g i n x c o n f i g m a p = $ ( P O D _ N A M E S P A C E ) / i n g r e s s n g i n x c o n t r o l l e r v a l i d a t i n g w e b h o o k = : 8 4 4 3 v a l i d a t i n g w e b h o o k c e r t i f i c a t e = / u s r / l o c a l / c e r t i f i c a t e s / c e r t v a l i d a t i n g w e b h o o k k e y = / u s r / l o c a l / c e r t i f i c a t e s / k e y t c p s e r v i c e s c o n f i g m a p = $ ( P O D _ N A M E S P A C E ) / t c p s e r v i c e s / / 增 加 u d p s e r v i c e s c o n f i g m a p = $ ( P O D _ N A M E S P A C E ) / u d p s e r v i c e s 编 写 T C P / U D P 端 口 转 发 规 则 实 现 L 4 层 服 务 暴 露 k u b e c t l c r e a t e f t c p s e r v i c e s c o n f i g m a p . y a m l n i n g r e s s n g i n x 1 2 3 4 5 6 7 8 9 k i n d : C o n f i g M a p a p i V e r s i o n : v 1 m e t a d a t a : n a m e : t c p s e r v i c e s n a m e s p a c e : i n g r e s s n g i n x d a t a : 8 0 3 0 : s t a r r o c k s / s t a r r o c k s c l u s t e r f e s e r v i c e : 8 0 3 0 8 0 4 0 : s t a r r o c k s / s t a r r o c k s c l u s t e r c n s e r v i c e : 8 0 4 0 9 0 3 0 : s t a r r o c k s / s t a r r o c k s c l u s t e r f e s e r v i c e : 9 0 3 0 验 证 T C P 端 口 的 L 4 服 务 暴 露 ， 查 看 p o d n g i n x i n g r e s s c o n t r o l l e r 的 i p 1 2 3 4 5 > k u b e c t l g e t p o d n i n g r e s s n g i n x o w i d e N A M E R E A D Y S T A T U S R E S T A R T S A G E I P N O D E N O M I N A T E D N O D E R E A D I N E S S G A T E S i n g r e s s n g i n x a d m i s s i o n c r e a t e c p j c l 0 / 1 C o m p l e t e d 0 7 0 d 1 0 . 2 4 4 . 3 . 2 0 k 8 s n o d e 3 i n g r e s s n g i n x a d m i s s i o n p a t c h r 6 q l 7 0 / 1 C o m p l e t e d 0 7 0 d 1 0 . 2 4 4 . 2 . 1 2 k 8 s n o d e 1 i n g r e s s n g i n x c o n t r o l l e r 5 8 b c f f 6 c 7 6 x d m z q 1 / 1 R u n n i n g 0 1 4 m 1 9 2 . 1 6 8 . 1 0 3 . 2 0 2 k 8 s m a s t e r 1 n a v i c a t 连 接 相 关 连 接 N g i n x + I n g r e s s c o n t r o l l e r 解 决 服 务 暴 露 和 负 载 均 衡 s q l 语 句 查 询 m o n g o d b 之 b i c o n n e c t o r 部 署 实 践 发 表 于 2 0 2 4 0 2 0 7 更 新 于 2 0 2 4 0 2 1 2 阅 读 次 数 ： 背 景 为 了 让 m o n g o d b 能 使 用 标 准 化 的 s q l 语 句 查 询 ， 我 们 使 用 官 方 的 m o n g o b i 做 一 层 转 换 ， 这 一 步 是 统 一 数 仓 的 关 键 。 目 前 该 方 案 不 具 可 行 性 ， 原 因 ： b i c o n n e c t 连 接 m o n g o d b 数 据 源 必 须 开 启 s s l , 这 就 导 致 外 部 客 户 端 连 接 b i c o n n e c t 必 须 u s e S S L = t r u e , 而 S t a r R o c k s 的 c a t a l o g s 未 支 持 S S L 不 稳 定 ， 从 B I 的 外 连 接 看 ， 经 常 报 错 下 载 安 装 b i c o n n e c t o r 支 持 不 同 平 台 安 装 部 署 ， 这 里 针 对 L i n u x 环 境 安 装 部 署 配 置 进 行 记 录 。 通 过 官 网 下 载 ： h t t p s : / / w w w . m o n g o d b . c o m / t r y / d o w n l o a d / b i c o n n e c t o r 我 这 里 下 载 的 文 件 版 本 为 m o n g o d b b i l i n u x x 8 6 _ 6 4 r h e l 7 0 v 2 . 1 4 . 1 2 . t g z 下 载 后 解 压 到 / o p t / m o n g o d b b i 目 录 创 建 证 书 当 M o n g o D B 启 用 认 证 时 ， b i c o n n e c t o r 必 须 要 配 置 使 用 证 书 ， 才 能 通 过 b i c o n n e c t o r 连 接 m o n g o d b 这 里 先 创 建 证 书 1 2 3 4 5 # 执 行 创 建 S S L 证 书 m k d i r p / o p t / m o n g o d b b i / c e r t s c d / o p t / m o n g o d b b i / c e r t s o p e n s s l r e q n o d e s n e w k e y r s a : 2 0 4 8 k e y o u t d a k e w e B I . k e y o u t d a k e w e B I . c r t x 5 0 9 d a y s 3 6 5 s u b j / C = U S / S T = d a k e w e B I / L = d a k e w e B I / O = d a k e w e B I S e c u r i t y / O U = I T D e p a r t m e n t / C N = k a y a k w i s e . c o m c a t d a k e w e B I . c r t d a k e w e B I . k e y > d a k e w e B I . p e m 安 装 M o n g o D B B I C o n n e c t o r 1 s u d o i n s t a l l m 7 5 5 b i n / m o n g o * / u s r / b i n / 配 置 M o n g o D B B I 配 置 文 件 1 2 3 m k d i r p / o p t / m o n g o d b b i / c o n f / m k d i r p / o p t / m o n g o d b b i / l o g s / m k d i r p / o p t / m o n g o d b b i / s c h e m a s 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 n e t : b i n d I p : 0 . 0 . 0 . 0 p o r t : 3 3 0 7 s s l : m o d e : a l l o w S S L P E M K e y F i l e : / o p t / m o n g o d b b i / c e r t s / d a k e w e B I . p e m a l l o w I n v a l i d C e r t i f i c a t e s : t r u e m i n i m u m T L S V e r s i o n : T L S 1 _ 0 m o n g o d b : n e t : u r i : m o n g o d b : / / 1 9 2 . 1 6 8 . 1 0 3 . 1 1 3 : 2 7 0 1 1 s s l : e n a b l e d : f a l s e a u t h : u s e r n a m e : r o o t p a s s w o r d : X X X s o u r c e : a d m i n m e c h a n i s m : S C R A M S H A 1 s e c u r i t y : e n a b l e d : t r u e d e f a u l t M e c h a n i s m : S C R A M S H A 1 d e f a u l t S o u r c e : a d m i n s y s t e m L o g : p a t h : / o p t / m o n g o d b b i / l o g s / m o n g o s q l d . l o g v e r b o s i t y : 2 l o g A p p e n d : t r u e s c h e m a : p a t h : / o p t / m o n g o d b b i / s c h e m a s m a x V a r c h a r L e n g t h : 6 5 5 3 5 p r o c e s s M a n a g e m e n t : s e r v i c e : n a m e : m o n g o s q l d i s p l a y N a m e : M o n g o S Q L S e r v i c e d e s c r i p t i o n : M o n g o S Q L a c c e s s e s M o n g o D B d a t a w i t h S Q L 安 装 M o n g o D B B I C o n n e c t o r 服 务 1 2 3 4 5 m o n g o s q l d i n s t a l l c o n f i g / o p t / m o n g o d b b i / c o n f / m o n g o s q l d c o n f i g . y m l # 重 新 加 载 s y s t e m c t l d a e m o n r e l o a d # 设 置 开 机 自 启 s y s t e m c t l e n a b l e m o n g o s q l . s e r v i c e 启 动 1 2 3 4 5 6 # 执 行 生 成 s c h e m a m o n g o d r d l h o s t 1 9 2 . 1 6 8 . 1 0 3 . 1 1 3 : 2 7 0 1 1 u s e r n a m e r o o t p a s s w o r d X X X d b a s s i s t a n t a u t h e n t i c a t i o n D a t a b a s e a d m i n a u t h e n t i c a t i o n M e c h a n i s m S C R A M S H A 1 o u t / o p t / m o n g o d b b i / s c h e m a s / s c h e m a s . d r d l # 临 时 启 动 m o n g o s q l d c o n f i g = / o p t / m o n g o d b b i / c o n f / m o n g o s q l d c o n f i g . y m l # 常 驻 启 动 s y s t e m c t l s t a r t m o n g o s q l . s e r v i c e 连 接 查 询 m y s q l c i l ， 注 意 用 户 名 密 码 是 m o n g o d b 的 用 户 名 密 码 1 m y s q l e n a b l e c l e a r t e x t p l u g i n u s e r = r o o t ? s o u r c e = a d m i n h o s t = 1 9 2 . 1 6 8 . 1 0 3 . 1 5 3 p r o t o c o l = t c p p o r t = 3 3 0 7 p n a v i c a t ， 需 要 勾 选 使 用 s s l j d b c 连 接 需 要 添 加 额 外 的 J D B C 连 接 字 符 串 c h a r a c t e r E n c o d i n g = U T F 8 e s 存 算 一 体 + 自 建 e s ✅ 已 验 证 基 于 腾 讯 云 c o s 存 算 分 离 + 腾 讯 云 e s 产 品 ✅ 已 验 证 存 在 问 题 ， 当 使 用 腾 讯 云 默 认 索 引 开 了 动 态 模 板 ， s t a r r o c k s 解 析 m a p p i n g 有 b u g ， 会 导 致 s h o w t a b l e s 出 不 来 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 C R E A T E E X T E R N A L C A T A L O G e s _ t e s t C O M M E N T e s P R O P E R T I E S ( t y p e = e s , e s . t y p e = _ d o c , h o s t s = h t t p : / / 1 7 2 . 1 6 . 0 . 8 : 9 2 0 0 , e s . n e t . s s l = f a l s e , u s e r = e l a s t i c , p a s s w o r d = x x x , e s . n o d e s . w a n . o n l y = f a l s e ) ; E X T E R N A L T A B L E C O S 文 件 外 部 表 ❌ 验 证 失 败 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 C R E A T E E X T E R N A L T A B L E u s e r _ b e h a v i o r _ f e t ( U s e r I D i n t , I t e m I D i n t , C a t e g o r y I D i n t , B e h a v i o r T y p e s t r i n g ) E N G I N E = f i l e P R O P E R T I E S ( p a t h = s 3 : / / r a c e 1 3 0 1 2 8 8 1 2 6 / i n p u t / u s e r _ b e h a v i o r _ t e n _ m i l l i o n _ r o w s . p a r q u e t , f o r m a t = p a r q u e t , a w s . s 3 . e n a b l e _ s s l = f a l s e , a w s . s 3 . e n a b l e _ p a t h _ s t y l e _ a c c e s s = t r u e , a w s . s 3 . e n d p o i n t = c o s . a p g u a n g z h o u . m y q c l o u d . c o m , a w s . s 3 . a c c e s s _ k e y = A K I D A F I C x e J w n r o r 5 O a r C R Y X Q M F 1 f 5 X 7 l J t O , a w s . s 3 . s e c r e t _ k e y = X X X ) ; S t a r R o c k s 之 分 区 分 桶 副 本 数 发 表 于 2 0 2 4 0 1 2 0 更 新 于 2 0 2 4 0 1 2 8 阅 读 次 数 ： 在 现 代 数 据 库 中 ， 很 多 数 据 库 都 支 持 分 区 （ P a r t i t i o n ） 或 分 桶 （ T a b l e t ， 分 桶 有 时 候 又 叫 分 片 ） ， 它 的 主 要 目 的 是 提 高 查 询 性 能 。 S t a r R o c k s 使 用 先 分 区 后 分 桶 的 方 式 ， 可 灵 活 地 支 持 两 种 分 布 方 式 : H a s h 分 布 : 不 采 用 分 区 方 式 ， 整 个 t a b l e 作 为 一 个 分 区 ， 只 需 指 定 分 桶 的 数 量 。 R a n g e H a s h 组 合 数 据 分 布 : 设 置 分 区 ， 指 定 每 个 分 区 的 分 桶 数 量 。 S t a r R o c k s 同 时 支 持 分 区 和 分 桶 ， 若 干 个 T a b l e t 组 成 一 个 P a r t i t i o n 。 分 区 分 区 的 主 要 作 ⽤ 是 将 ⼀ 张 表 按 照 分 区 键 拆 分 成 不 同 的 管 理 单 元 ， 针 对 每 ⼀ 个 管 理 单 元 选 择 相 应 的 存 储 策 略 ， ⽐ 如 副 本 数 、 冷 热 策 略 和 存 储 介 质 等 等 。 对 于 访 问 频 率 高 的 分 区 ， 可 以 使 用 S S D 存 储 ； 对 于 访 问 频 率 低 的 分 区 ， 可 以 使 用 S T A T 存 储 。 选 择 合 理 的 分 区 键 可 以 有 效 的 裁 剪 扫 描 的 数 据 量 ， 一 般 选 择 日 期 或 者 区 域 作 为 分 区 键 P A R T I T I O N B Y R A N G E ( ) 在 实 际 应 用 中 ， 用 户 一 般 选 取 时 间 列 作 为 分 区 键 ， 具 体 划 分 的 粒 度 视 数 据 量 而 定 ， 单 个 分 区 原 始 数 据 量 建 议 维 持 在 1 0 0 G B 以 内 。 分 桶 分 桶 的 目 的 就 是 将 数 据 打 散 为 一 个 个 逻 辑 分 片 （ T a b l e t ） ， 以 T a b l e t 作 为 数 据 均 衡 的 最 小 单 位 ， 使 数 据 尽 量 均 匀 的 分 布 在 集 群 的 各 个 B E 节 点 上 ， 以 便 在 查 询 时 充 分 发 挥 集 群 多 机 多 核 的 优 势 。 D I S T R I B U T E D B Y H A S H ( ) 对 每 个 分 区 的 数 据 ， S t a r R o c k s 还 会 再 进 行 H a s h 分 桶 。 我 们 在 建 表 时 通 过 D I S T R I B U T E D B Y H A S H ( ) 语 句 来 设 置 分 桶 在 S t a r R o c k s 的 存 储 引 擎 中 ， 用 户 数 据 被 水 平 划 分 为 若 干 个 数 据 分 片 （ T a b l e t ， 也 称 作 数 据 分 桶 ） 。 每 个 T a b l e t 包 含 若 干 数 据 行 ， 各 个 T a b l e t 之 间 的 数 据 没 有 交 集 ， 并 且 在 物 理 上 是 独 立 存 储 的 。 多 个 T a b l e t 在 逻 辑 上 归 属 于 不 同 的 分 区 （ P a r t i t i o n ） 。 一 个 T a b l e t 只 属 于 一 个 P a r t i t i o n ， 而 一 个 P a r t i t i o n 包 含 若 干 个 T a b l e t 。 因 为 T a b l e t 在 物 理 上 是 独 立 存 储 的 ， 所 以 可 以 视 为 P a r t i t i o n 在 物 理 上 也 是 独 立 。 T a b l e t 是 数 据 移 动 、 复 制 等 操 作 的 最 小 物 理 存 储 单 元 。 若 干 个 P a r t i t i o n 组 成 一 个 T a b l e 。 P a r t i t i o n 可 以 视 为 是 逻 辑 上 最 小 的 管 理 单 元 ， 数 据 的 导 入 与 删 除 ， 都 可 以 或 仅 能 针 对 一 个 P a r t i t i o n 进 行 。 副 本 数 S t a r R o c k s 中 的 副 本 数 就 是 同 一 个 T a b l e t 保 存 的 份 数 ， 在 建 表 时 通 过 r e p l i c a t i o n _ n u m 参 数 指 定 ， 也 可 以 后 面 修 改 。 默 认 不 指 定 时 ， S t a r R o c k s 使 用 三 副 本 建 表 ， 也 即 每 个 T a b l e t 会 在 不 同 节 点 存 储 三 份 （ S t a r R o c k s 的 副 本 策 略 会 将 某 个 t a b l e t 的 副 本 存 储 在 与 其 不 同 I P 的 节 点 ） 。 为 方 便 理 解 ， 我 们 假 设 当 前 有 一 个 3 B E 节 点 的 集 群 ， 有 表 T a b l e A 和 T a b l e B ， 表 A 和 表 B 建 表 时 都 未 设 置 分 区 （ 视 为 一 个 大 分 区 ） ， 分 桶 数 为 3 ， 副 本 数 r e p l i c a t i o n _ n u m 为 2 ， 则 表 A 和 表 B 在 集 群 中 数 据 分 布 的 一 种 可 能 如 下 图 ： 案 例 讲 解 如 下 ： S t a r R o c k s 的 数 据 划 分 以 及 T a b l e t 多 副 本 机 制 表 按 照 日 期 划 分 为 4 个 分 区 ， 第 一 个 分 区 切 分 成 4 个 T a b l e t 。 每 个 T a b l e t 使 用 3 副 本 进 行 备 份 ， 分 布 在 3 个 不 同 的 B E 节 点 上 。 由 于 一 张 表 被 切 分 成 了 多 个 T a b l e t ， S t a r R o c k s 在 执 行 S Q L 语 句 时 ， 可 以 对 所 有 T a b l e t 实 现 并 发 处 理 ， 从 而 充 分 的 利 用 多 机 、 多 核 提 供 的 计 算 能 力 。 用 户 也 可 以 利 用 S t a r R o c k s 数 据 的 切 分 方 式 ， 将 高 并 发 请 求 压 力 分 摊 到 多 个 物 理 节 点 ， 从 而 可 以 通 过 增 加 物 理 节 点 的 方 式 来 扩 展 系 统 支 持 高 并 发 的 能 力 。 总 结 一 下 在 S t a r R o c k s 中 ， P a r t i t i o n 是 数 据 导 入 和 备 份 恢 复 的 最 小 逻 辑 单 位 ， T a b l e t 是 数 据 复 制 和 均 衡 的 最 小 物 理 单 位 。 表 （ T a b l e ） 、 分 区 （ P a r t i t i o n ） 、 逻 辑 分 片 （ T a b l e t ） 的 关 系 如 下 图 ： 分 区 是 针 对 表 的 ， 是 对 表 的 数 据 取 段 。 分 桶 是 针 对 每 个 分 区 的 ， 会 将 分 区 后 的 每 段 数 据 打 散 为 逻 辑 分 片 T a b l e t 。 副 本 数 是 针 对 T a b l e t 的 ， 是 指 T a b l e t 保 存 的 份 数 。 那 么 我 们 不 难 发 现 ， 对 某 一 个 数 据 表 ， 若 每 个 分 区 的 分 桶 数 一 致 ， 其 总 T a b l e t 数 ： 总 T a b l e t 数 = 分 区 数 分 桶 数 副 本 数 以 t a b l e 0 1 为 例 ， 我 们 为 其 设 置 了 3 个 分 区 ， 为 每 个 分 区 设 置 了 2 0 个 分 桶 ， 又 对 分 桶 后 的 t a b l e t 设 置 了 1 副 本 ， 则 t a b l e 0 1 的 总 t a b l e t 数 = 3 * 2 0 * 1 = 6 0 个 。 查 看 t a b l e 0 1 的 t a b l e t 信 息 ， 发 现 确 实 共 有 6 0 个 t a b l e t ： 1 2 s h o w t a b l e t f r o m t a b l e 0 1 ; 6 0 r o w s i n s e t ( 0 . 0 1 s e c ) S t a r R o c k s 之 数 据 导 入 实 践 发 表 于 2 0 2 4 0 1 2 0 更 新 于 2 0 2 4 0 1 2 7 阅 读 次 数 ： 背 景 及 数 据 准 备 本 次 仅 记 录 一 些 常 见 的 导 入 纽 约 市 交 通 事 故 数 据 1 c u r l O h t t p s : / / r a w . g i t h u b u s e r c o n t e n t . c o m / S t a r R o c k s / d e m o / m a s t e r / d o c u m e n t a t i o n s a m p l e s / q u i c k s t a r t / d a t a s e t s / N Y P D _ C r a s h _ D a t a . c s v 天 气 数 据 1 c u r l O h t t p s : / / r a w . g i t h u b u s e r c o n t e n t . c o m / S t a r R o c k s / d e m o / m a s t e r / d o c u m e n t a t i o n s a m p l e s / q u i c k s t a r t / d a t a s e t s / 7 2 5 0 5 3 9 4 7 2 8 . c s v 用 户 行 为 数 据 集 1 c u r l O h t t p s : / / s t a r r o c k s d a t a s e t s . s 3 . a m a z o n a w s . c o m / u s e r _ b e h a v i o r _ t e n _ m i l l i o n _ r o w s . p a r q u e t f i l e 1 . c s v 1 2 3 4 1 , L i l y , 2 1 2 , R o s e , 2 2 3 , A l i c e , 2 3 4 , J u l i a , 2 4 f i l e 2 . c s v 1 2 3 4 5 , T o n y , 2 5 6 , A d a m , 2 6 7 , A l l e n , 2 7 8 , J a c k y , 2 8 f i l e 3 . j s o n 1 从 本 地 文 件 系 统 导 入 ( S t r e a m L o a d ) T I P : h t t p : / / : 默 认 端 口 号 为 8 0 3 0 ; 也 可 以 是 h t t p : / / : 默 认 端 口 号 为 8 0 4 0 。 t a b l e 1 表 或 t a b l e 2 表 创 建 t a b l e 1 表 1 2 3 4 5 6 7 8 9 C R E A T E T A B L E ` t a b l e 1 ` ( ` i d ` i n t ( 1 1 ) N O T N U L L C O M M E N T 用 户 I D , ` n a m e ` v a r c h a r ( 6 5 5 3 3 ) N U L L D E F A U L T C O M M E N T 用 户 姓 名 , ` s c o r e ` i n t ( 1 1 ) N O T N U L L D E F A U L T 0 C O M M E N T 用 户 得 分 ) E N G I N E = O L A P P R I M A R Y K E Y ( ` i d ` ) D I S T R I B U T E D B Y H A S H ( ` i d ` ) ; 导 入 f i l e 1 . j s o n 1 2 3 4 5 6 c u r l l o c a t i o n t r u s t e d u : H l a b e l : 1 2 3 \ \ H E x p e c t : 1 0 0 c o n t i n u e \ \ H c o l u m n _ s e p a r a t o r : , \ \ H c o l u m n s : i d , n a m e , s c o r e \ \ T f i l e 1 . c s v X P U T \ \ h t t p : / / : / a p i / i m p o r t _ e x a m p l e / t a b l e 1 / _ s t r e a m _ l o a d t a b l e _ j s o n 表 创 建 t a b l e _ j s o n 表 1 2 3 4 5 6 7 8 C R E A T E T A B L E ` t a b l e _ j s o n ` ( ` i d ` i n t ( 1 1 ) N O T N U L L C O M M E N T 城 市 I D , ` c i t y ` v a r c h a r ( 6 5 5 3 3 ) N U L L C O M M E N T 城 市 名 称 ) E N G I N E = O L A P P R I M A R Y K E Y ( ` i d ` ) D I S T R I B U T E D B Y H A S H ( ` i d ` ) ; 导 入 f i l e 3 . j s o n 1 2 3 4 5 6 c u r l v l o c a t i o n t r u s t e d u : H s t r i c t _ m o d e : t r u e \ \ H E x p e c t : 1 0 0 c o n t i n u e \ \ H f o r m a t : j s o n H j s o n p a t h s : [ \ \ $ . n a m e \ \ , \ \ $ . c o d e \ \ ] \ \ H c o l u m n s : c i t y , t m p _ i d , i d = t m p _ i d * 1 0 0 \ \ T f i l e 3 . j s o n X P U T \ \ h t t p : / / : / a p i / i m p o r t _ e x a m p l e / t a b l e _ j s o n / _ s t r e a m _ l o a d c r a s h d a t a 表 创 建 c r a s h d a t a 表 ， 用 于 存 储 交 通 事 故 数 据 集 中 的 数 据 。 该 表 的 字 段 经 过 裁 剪 ， 仅 包 含 与 该 教 程 相 关 字 段 。 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 C R E A T E D A T A B A S E I F N O T E X I S T S i m p o r t _ e x a m p l e ; U S E i m p o r t _ e x a m p l e ; C R E A T E T A B L E I F N O T E X I S T S c r a s h d a t a ( C R A S H _ D A T E D A T E T I M E , B O R O U G H S T R I N G , Z I P _ C O D E S T R I N G , L A T I T U D E I N T , L O N G I T U D E I N T , L O C A T I O N S T R I N G , O N _ S T R E E T _ N A M E S T R I N G , C R O S S _ S T R E E T _ N A M E S T R I N G , O F F _ S T R E E T _ N A M E S T R I N G , C O N T R I B U T I N G _ F A C T O R _ V E H I C L E _ 1 S T R I N G , C O N T R I B U T I N G _ F A C T O R _ V E H I C L E _ 2 S T R I N G , C O L L I S I O N _ I D I N T , V E H I C L E _ T Y P E _ C O D E _ 1 S T R I N G , V E H I C L E _ T Y P E _ C O D E _ 2 S T R I N G ) ; 导 入 纽 约 市 交 通 事 故 数 据 1 2 3 4 5 6 7 8 9 c u r l l o c a t i o n t r u s t e d u r o o t \ \ T . / N Y P D _ C r a s h _ D a t a . c s v \ \ H l a b e l : c r a s h d a t a 0 \ \ H c o l u m n _ s e p a r a t o r : , \ \ H s k i p _ h e a d e r : 1 \ \ H e n c l o s e : \ \ \ \ H m a x _ f i l t e r _ r a t i o : 1 \ \ H c o l u m n s : t m p _ C R A S H _ D A T E , t m p _ C R A S H _ T I M E , C R A S H _ D A T E = s t r _ t o _ d a t e ( c o n c a t _ w s ( , t m p _ C R A S H _ D A T E , t m p _ C R A S H _ T I M E ) , % m / % d / % Y % H : % i ) , B O R O U G H , Z I P _ C O D E , L A T I T U D E , L O N G I T U D E , L O C A T I O N , O N _ S T R E E T _ N A M E , C R O S S _ S T R E E T _ N A M E , O F F _ S T R E E T _ N A M E , N U M B E R _ O F _ P E R S O N S _ I N J U R E D , N U M B E R _ O F _ P E R S O N S _ K I L L E D , N U M B E R _ O F _ P E D E S T R I A N S _ I N J U R E D , N U M B E R _ O F _ P E D E S T R I A N S _ K I L L E D , N U M B E R _ O F _ C Y C L I S T _ I N J U R E D , N U M B E R _ O F _ C Y C L I S T _ K I L L E D , N U M B E R _ O F _ M O T O R I S T _ I N J U R E D , N U M B E R _ O F _ M O T O R I S T _ K I L L E D , C O N T R I B U T I N G _ F A C T O R _ V E H I C L E _ 1 , C O N T R I B U T I N G _ F A C T O R _ V E H I C L E _ 2 , C O N T R I B U T I N G _ F A C T O R _ V E H I C L E _ 3 , C O N T R I B U T I N G _ F A C T O R _ V E H I C L E _ 4 , C O N T R I B U T I N G _ F A C T O R _ V E H I C L E _ 5 , C O L L I S I O N _ I D , V E H I C L E _ T Y P E _ C O D E _ 1 , V E H I C L E _ T Y P E _ C O D E _ 2 , V E H I C L E _ T Y P E _ C O D E _ 3 , V E H I C L E _ T Y P E _ C O D E _ 4 , V E H I C L E _ T Y P E _ C O D E _ 5 \ \ X P U T h t t p : / / : / a p i / i m p o r t _ e x a m p l e / c r a s h d a t a / _ s t r e a m _ l o a d w e a t h e r d a t a 表 创 建 w e a t h e r d a t a 表 ， 用 于 存 储 天 气 数 据 集 中 的 数 据 。 该 表 的 字 段 同 样 经 过 裁 剪 ， 仅 包 含 与 该 教 程 相 关 字 段 。 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 C R E A T E D A T A B A S E I F N O T E X I S T S i m p o r t _ e x a m p l e ; U S E i m p o r t _ e x a m p l e ; C R E A T E T A B L E I F N O T E X I S T S w e a t h e r d a t a ( D A T E D A T E T I M E , N A M E S T R I N G , H o u r l y D e w P o i n t T e m p e r a t u r e S T R I N G , H o u r l y D r y B u l b T e m p e r a t u r e S T R I N G , H o u r l y P r e c i p i t a t i o n S T R I N G , H o u r l y P r e s e n t W e a t h e r T y p e S T R I N G , H o u r l y P r e s s u r e C h a n g e S T R I N G , H o u r l y P r e s s u r e T e n d e n c y S T R I N G , H o u r l y R e l a t i v e H u m i d i t y S T R I N G , H o u r l y S k y C o n d i t i o n s S T R I N G , H o u r l y V i s i b i l i t y S T R I N G , H o u r l y W e t B u l b T e m p e r a t u r e S T R I N G , H o u r l y W i n d D i r e c t i o n S T R I N G , H o u r l y W i n d G u s t S p e e d S T R I N G , H o u r l y W i n d S p e e d S T R I N G ) ; 导 入 天 气 数 据 1 2 3 4 5 6 7 8 9 c u r l l o c a t i o n t r u s t e d u r o o t \ \ T . / 7 2 5 0 5 3 9 4 7 2 8 . c s v \ \ H l a b e l : w e a t h e r 0 \ \ H c o l u m n _ s e p a r a t o r : , \ \ H s k i p _ h e a d e r : 1 \ \ H e n c l o s e : \ \ \ \ H m a x _ f i l t e r _ r a t i o : 1 \ \ H c o l u m n s : S T A T I O N , D A T E , L A T I T U D E , L O N G I T U D E , E L E V A T I O N , N A M E , R E P O R T _ T Y P E , S O U R C E , H o u r l y A l t i m e t e r S e t t i n g , H o u r l y D e w P o i n t T e m p e r a t u r e , H o u r l y D r y B u l b T e m p e r a t u r e , H o u r l y P r e c i p i t a t i o n , H o u r l y P r e s e n t W e a t h e r T y p e , H o u r l y P r e s s u r e C h a n g e , H o u r l y P r e s s u r e T e n d e n c y , H o u r l y R e l a t i v e H u m i d i t y , H o u r l y S k y C o n d i t i o n s , H o u r l y S e a L e v e l P r e s s u r e , H o u r l y S t a t i o n P r e s s u r e , H o u r l y V i s i b i l i t y , H o u r l y W e t B u l b T e m p e r a t u r e , H o u r l y W i n d D i r e c t i o n , H o u r l y W i n d G u s t S p e e d , H o u r l y W i n d S p e e d , S u n r i s e , S u n s e t , D a i l y A v e r a g e D e w P o i n t T e m p e r a t u r e , D a i l y A v e r a g e D r y B u l b T e m p e r a t u r e , D a i l y A v e r a g e R e l a t i v e H u m i d i t y , D a i l y A v e r a g e S e a L e v e l P r e s s u r e , D a i l y A v e r a g e S t a t i o n P r e s s u r e , D a i l y A v e r a g e W e t B u l b T e m p e r a t u r e , D a i l y A v e r a g e W i n d S p e e d , D a i l y C o o l i n g D e g r e e D a y s , D a i l y D e p a r t u r e F r o m N o r m a l A v e r a g e T e m p e r a t u r e , D a i l y H e a t i n g D e g r e e D a y s , D a i l y M a x i m u m D r y B u l b T e m p e r a t u r e , D a i l y M i n i m u m D r y B u l b T e m p e r a t u r e , D a i l y P e a k W i n d D i r e c t i o n , D a i l y P e a k W i n d S p e e d , D a i l y P r e c i p i t a t i o n , D a i l y S n o w D e p t h , D a i l y S n o w f a l l , D a i l y S u s t a i n e d W i n d D i r e c t i o n , D a i l y S u s t a i n e d W i n d S p e e d , D a i l y W e a t h e r , M o n t h l y A v e r a g e R H , M o n t h l y D a y s W i t h G T 0 0 1 P r e c i p , M o n t h l y D a y s W i t h G T 0 1 0 P r e c i p , M o n t h l y D a y s W i t h G T 3 2 T e m p , M o n t h l y D a y s W i t h G T 9 0 T e m p , M o n t h l y D a y s W i t h L T 0 T e m p , M o n t h l y D a y s W i t h L T 3 2 T e m p , M o n t h l y D e p a r t u r e F r o m N o r m a l A v e r a g e T e m p e r a t u r e , M o n t h l y D e p a r t u r e F r o m N o r m a l C o o l i n g D e g r e e D a y s , M o n t h l y D e p a r t u r e F r o m N o r m a l H e a t i n g D e g r e e D a y s , M o n t h l y D e p a r t u r e F r o m N o r m a l M a x i m u m T e m p e r a t u r e , M o n t h l y D e p a r t u r e F r o m N o r m a l M i n i m u m T e m p e r a t u r e , M o n t h l y D e p a r t u r e F r o m N o r m a l P r e c i p i t a t i o n , M o n t h l y D e w p o i n t T e m p e r a t u r e , M o n t h l y G r e a t e s t P r e c i p , M o n t h l y G r e a t e s t P r e c i p D a t e , M o n t h l y G r e a t e s t S n o w D e p t h , M o n t h l y G r e a t e s t S n o w D e p t h D a t e , M o n t h l y G r e a t e s t S n o w f a l l , M o n t h l y G r e a t e s t S n o w f a l l D a t e , M o n t h l y M a x S e a L e v e l P r e s s u r e V a l u e , M o n t h l y M a x S e a L e v e l P r e s s u r e V a l u e D a t e , M o n t h l y M a x S e a L e v e l P r e s s u r e V a l u e T i m e , M o n t h l y M a x i m u m T e m p e r a t u r e , M o n t h l y M e a n T e m p e r a t u r e , M o n t h l y M i n S e a L e v e l P r e s s u r e V a l u e , M o n t h l y M i n S e a L e v e l P r e s s u r e V a l u e D a t e , M o n t h l y M i n S e a L e v e l P r e s s u r e V a l u e T i m e , M o n t h l y M i n i m u m T e m p e r a t u r e , M o n t h l y S e a L e v e l P r e s s u r e , M o n t h l y S t a t i o n P r e s s u r e , M o n t h l y T o t a l L i q u i d P r e c i p i t a t i o n , M o n t h l y T o t a l S n o w f a l l , M o n t h l y W e t B u l b , A W N D , C D S D , C L D D , D S N W , H D S D , H T D D , N o r m a l s C o o l i n g D e g r e e D a y , N o r m a l s H e a t i n g D e g r e e D a y , S h o r t D u r a t i o n E n d D a t e 0 0 5 , S h o r t D u r a t i o n E n d D a t e 0 1 0 , S h o r t D u r a t i o n E n d D a t e 0 1 5 , S h o r t D u r a t i o n E n d D a t e 0 2 0 , S h o r t D u r a t i o n E n d D a t e 0 3 0 , S h o r t D u r a t i o n E n d D a t e 0 4 5 , S h o r t D u r a t i o n E n d D a t e 0 6 0 , S h o r t D u r a t i o n E n d D a t e 0 8 0 , S h o r t D u r a t i o n E n d D a t e 1 0 0 , S h o r t D u r a t i o n E n d D a t e 1 2 0 , S h o r t D u r a t i o n E n d D a t e 1 5 0 , S h o r t D u r a t i o n E n d D a t e 1 8 0 , S h o r t D u r a t i o n P r e c i p i t a t i o n V a l u e 0 0 5 , S h o r t D u r a t i o n P r e c i p i t a t i o n V a l u e 0 1 0 , S h o r t D u r a t i o n P r e c i p i t a t i o n V a l u e 0 1 5 , S h o r t D u r a t i o n P r e c i p i t a t i o n V a l u e 0 2 0 , S h o r t D u r a t i o n P r e c i p i t a t i o n V a l u e 0 3 0 , S h o r t D u r a t i o n P r e c i p i t a t i o n V a l u e 0 4 5 , S h o r t D u r a t i o n P r e c i p i t a t i o n V a l u e 0 6 0 , S h o r t D u r a t i o n P r e c i p i t a t i o n V a l u e 0 8 0 , S h o r t D u r a t i o n P r e c i p i t a t i o n V a l u e 1 0 0 , S h o r t D u r a t i o n P r e c i p i t a t i o n V a l u e 1 2 0 , S h o r t D u r a t i o n P r e c i p i t a t i o n V a l u e 1 5 0 , S h o r t D u r a t i o n P r e c i p i t a t i o n V a l u e 1 8 0 , R E M , B a c k u p D i r e c t i o n , B a c k u p D i s t a n c e , B a c k u p D i s t a n c e U n i t , B a c k u p E l e m e n t s , B a c k u p E l e v a t i o n , B a c k u p E q u i p m e n t , B a c k u p L a t i t u d e , B a c k u p L o n g i t u d e , B a c k u p N a m e , W i n d E q u i p m e n t C h a n g e D a t e \ \ X P U T h t t p : / / : / a p i / i m p o r t _ e x a m p l e / w e a t h e r d a t a / _ s t r e a m _ l o a d 从 云 储 存 导 入 ✅ 将 文 件 放 到 c o s 的 云 储 存 , 导 入 到 S t a r R o c k s 内 通 过 如 下 语 句 ， 把 C O S 存 储 空 间 r a c e 1 3 0 1 2 8 8 1 2 6 里 i n p u t 文 件 夹 内 数 据 文 件 u s e r _ b e h a v i o r _ t e n _ m i l l i o n _ r o w s . p a r q u e t 的 数 据 导 入 到 目 标 表 u s e r _ b e h a v i o r _ r e p l i c a 建 表 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 C R E A T E D A T A B A S E I F N O T E X I S T S m y d a t a b a s e ; U S E m y d a t a b a s e ; C R E A T E T A B L E u s e r _ b e h a v i o r _ r e p l i c a ( U s e r I D i n t ( 1 1 ) , I t e m I D i n t ( 1 1 ) , C a t e g o r y I D i n t ( 1 1 ) , B e h a v i o r T y p e v a r c h a r ( 6 5 5 3 3 ) , T i m e s t a m p v a r b i n a r y ) E N G I N E = O L A P D U P L I C A T E K E Y ( U s e r I D ) D I S T R I B U T E D B Y H A S H ( U s e r I D ) ; 导 入 任 务 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 L O A D L A B E L m y d a t a b a s e . l a b e l _ b r o k e r l o a d t e s t _ 5 0 2 ( D A T A I N F I L E ( c o s n : / / r a c e 1 3 0 1 2 8 8 1 2 6 / i n p u t / u s e r _ b e h a v i o r _ t e n _ m i l l i o n _ r o w s . p a r q u e t ) I N T O T A B L E u s e r _ b e h a v i o r _ r e p l i c a F O R M A T A S p a r q u e t ) W I T H B R O K E R ( f s . c o s n . u s e r i n f o . s e c r e t I d = x x x , f s . c o s n . u s e r i n f o . s e c r e t K e y = x x x , f s . c o s n . b u c k e t . e n d p o i n t _ s u f f i x = c o s . a p g u a n g z h o u . m y q c l o u d . c o m ) P R O P E R T I E S ( t i m e o u t = 3 6 0 0 ) ; 通 过 如 下 语 句 ， 把 C O S 存 储 空 间 r a c e 1 3 0 1 2 8 8 1 2 6 里 i n p u t 文 件 夹 内 数 据 文 件 f i l e 1 . c s v 、 f i l e 2 . c s v 的 数 据 导 入 到 目 标 表 t a b l e 1 、 t a b l e 2 ： 建 表 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 C R E A T E T A B L E ` t a b l e 1 ` ( ` i d ` i n t ( 1 1 ) N O T N U L L C O M M E N T 用 户 I D , ` n a m e ` v a r c h a r ( 6 5 5 3 3 ) N U L L D E F A U L T C O M M E N T 用 户 姓 名 , ` s c o r e ` i n t ( 1 1 ) N O T N U L L D E F A U L T 0 C O M M E N T 用 户 得 分 ) E N G I N E = O L A P P R I M A R Y K E Y ( ` i d ` ) D I S T R I B U T E D B Y H A S H ( ` i d ` ) ; C R E A T E T A B L E ` t a b l e 2 ` ( ` i d ` i n t ( 1 1 ) N O T N U L L C O M M E N T 用 户 I D , ` n a m e ` v a r c h a r ( 6 5 5 3 3 ) N U L L D E F A U L T C O M M E N T 用 户 姓 名 , ` s c o r e ` i n t ( 1 1 ) N O T N U L L D E F A U L T 0 C O M M E N T 用 户 得 分 ) E N G I N E = O L A P P R I M A R Y K E Y ( ` i d ` ) D I S T R I B U T E D B Y H A S H ( ` i d ` ) ; 导 入 单 个 文 件 到 单 表 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 L O A D L A B E L m y d a t a b a s e . l a b e l _ b r o k e r l o a d t e s t _ 5 0 1 ( D A T A I N F I L E ( c o s n : / / r a c e 1 3 0 1 2 8 8 1 2 6 / i n p u t / f i l e 1 . c s v ) I N T O T A B L E t a b l e 1 C O L U M N S T E R M I N A T E D B Y , ( i d , n a m e , s c o r e ) ) W I T H B R O K E R ( f s . c o s n . u s e r i n f o . s e c r e t I d = x x x , f s . c o s n . u s e r i n f o . s e c r e t K e y = x x x , f s . c o s n . b u c k e t . e n d p o i n t _ s u f f i x = c o s . a p g u a n g z h o u . m y q c l o u d . c o m ) P R O P E R T I E S ( t i m e o u t = 3 6 0 0 ) ; 导 入 多 个 文 件 到 单 表 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 L O A D L A B E L m y d a t a b a s e . l a b e l _ b r o k e r l o a d t e s t _ 4 0 2 ( D A T A I N F I L E ( c o s n : / / r a c e 1 3 0 1 2 8 8 1 2 6 / i n p u t / * ) I N T O T A B L E t a b l e 1 C O L U M N S T E R M I N A T E D B Y , ( i d , n a m e , s c o r e ) ) W I T H B R O K E R ( f s . c o s n . u s e r i n f o . s e c r e t I d = x x x , f s . c o s n . u s e r i n f o . s e c r e t K e y = x x x , f s . c o s n . b u c k e t . e n d p o i n t _ s u f f i x = c o s . a p g u a n g z h o u . m y q c l o u d . c o m ) P R O P E R T I E S ( t i m e o u t = 3 6 0 0 ) ; 导 入 多 个 数 据 文 件 到 多 表 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 L O A D L A B E L m y d a t a b a s e . l a b e l _ b r o k e r l o a d t e s t _ 4 0 3 ( D A T A I N F I L E ( c o s n : / / r a c e 1 3 0 1 2 8 8 1 2 6 / i n p u t / f i l e 1 . c s v ) I N T O T A B L E t a b l e 1 C O L U M N S T E R M I N A T E D B Y , ( i d , n a m e , s c o r e ) , D A T A I N F I L E ( c o s n : / / r a c e 1 3 0 1 2 8 8 1 2 6 / i n p u t / f i l e 2 . c s v ) I N T O T A B L E t a b l e 2 C O L U M N S T E R M I N A T E D B Y , ( i d , n a m e , s c o r e ) ) W I T H B R O K E R ( f s . c o s n . u s e r i n f o . s e c r e t I d = x x x , f s . c o s n . u s e r i n f o . s e c r e t K e y = x x x , f s . c o s n . b u c k e t . e n d p o i n t _ s u f f i x = c o s . a p g u a n g z h o u . m y q c l o u d . c o m ) ; P R O P E R T I E S ( t i m e o u t = 3 6 0 0 ) ; 其 他 数 据 集 1 . 3 亿 条 亚 马 逊 产 品 的 用 户 评 论 信 息 , 总 大 小 约 为 3 7 G B 每 行 包 含 用 户 I D （ c u s t o m e r _ i d ） 、 评 论 I D （ r e v i e w _ i d ） 、 已 购 买 产 品 I D （ p r o d u c t _ i d ） 、 产 品 分 类 （ p r o d u c t _ c a t e g o r y ） 、 评 分 （ s t a r _ r a t i n g ） 、 评 论 标 题 （ r e v i e w _ h e a d l i n e ） 、 评 论 内 容 （ r e v i e w _ b o d y ） 等 1 5 列 信 息 。 a m a z o n _ r e v i e w s / a m a z o n _ r e v i e w s _ 2 0 1 0 a m a z o n _ r e v i e w s / a m a z o n _ r e v i e w s _ 2 0 1 1 a m a z o n _ r e v i e w s / a m a z o n _ r e v i e w s _ 2 0 1 2 a m a z o n _ r e v i e w s / a m a z o n _ r e v i e w s _ 2 0 1 3 a m a z o n _ r e v i e w s / a m a z o n _ r e v i e w s _ 2 0 1 4 a m a z o n _ r e v i e w s / a m a z o n _ r e v i e w s _ 2 0 1 5 建 表 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 C R E A T E T A B L E ` a m a z o n _ r e v i e w s ` ( ` r e v i e w _ d a t e ` i n t ( 1 1 ) N U L L , ` m a r k e t p l a c e ` v a r c h a r ( 2 0 ) N U L L , ` c u s t o m e r _ i d ` b i g i n t ( 2 0 ) N U L L , ` r e v i e w _ i d ` v a r c h a r ( 4 0 ) N U L L , ` p r o d u c t _ i d ` v a r c h a r ( 1 0 ) N U L L , ` p r o d u c t _ p a r e n t ` b i g i n t ( 2 0 ) N U L L , ` p r o d u c t _ t i t l e ` v a r c h a r ( 5 0 0 ) N U L L , ` p r o d u c t _ c a t e g o r y ` v a r c h a r ( 5 0 ) N U L L , ` s t a r _ r a t i n g ` s m a l l i n t ( 6 ) N U L L , ` h e l p f u l _ v o t e s ` i n t ( 1 1 ) N U L L , ` t o t a l _ v o t e s ` i n t ( 1 1 ) N U L L , ` v i n e ` b o o l e a n N U L L , ` v e r i f i e d _ p u r c h a s e ` b o o l e a n N U L L , ` r e v i e w _ h e a d l i n e ` v a r c h a r ( 5 0 0 ) N U L L , ` r e v i e w _ b o d y ` s t r i n g N U L L ) E N G I N E = O L A P D U P L I C A T E K E Y ( ` r e v i e w _ d a t e ` ) C O M M E N T O L A P D I S T R I B U T E D B Y H A S H ( ` r e v i e w _ d a t e ` ) ; S t a r R o c k s 之 物 化 视 图 实 践 发 表 于 2 0 2 4 0 1 1 7 更 新 于 2 0 2 4 0 1 2 6 阅 读 次 数 ： 同 步 物 化 视 图 基 础 数 据 准 备 以 下 示 例 基 于 表 s a l e s _ r e c o r d s ， 其 中 包 含 每 笔 交 易 的 交 易 I D r e c o r d _ i d 、 销 售 员 s e l l e r _ i d 、 售 卖 门 店 s t o r e _ i d 、 销 售 时 间 s a l e _ d a t e 以 及 销 售 额 s a l e _ a m t 。 建 表 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 C R E A T E T A B L E s a l e s _ r e c o r d s ( r e c o r d _ i d I N T , s e l l e r _ i d I N T , s t o r e _ i d I N T , s a l e _ d a t e D A T E , s a l e _ a m t B I G I N T ) D I S T R I B U T E D B Y H A S H ( r e c o r d _ i d ) ; I N S E R T I N T O s a l e s _ r e c o r d s V A L U E S ( 0 0 1 , 0 1 , 1 , 2 0 2 2 0 3 1 3 , 8 5 7 3 ) , ( 0 0 2 , 0 2 , 2 , 2 0 2 2 0 3 1 4 , 6 9 4 8 ) , ( 0 0 3 , 0 1 , 1 , 2 0 2 2 0 3 1 4 , 4 3 1 9 ) , ( 0 0 4 , 0 3 , 3 , 2 0 2 2 0 3 1 5 , 8 7 3 4 ) , ( 0 0 5 , 0 3 , 3 , 2 0 2 2 0 3 1 6 , 4 2 1 2 ) , ( 0 0 6 , 0 2 , 2 , 2 0 2 2 0 3 1 7 , 9 5 1 5 ) ; 业 务 需 求 该 示 例 业 务 场 景 需 要 频 繁 分 析 不 同 门 店 的 销 售 额 ， 则 查 询 需 要 大 量 调 用 s u m ( ) 函 数 ， 耗 费 大 量 系 统 资 源 。 可 使 用 E X P L A I N 命 令 查 看 此 查 询 的 Q u e r y P r o f i l e 。 1 2 3 S E L E C T s t o r e _ i d , S U M ( s a l e _ a m t ) F R O M s a l e s _ r e c o r d s G R O U P B Y s t o r e _ i d ; 其 Q u e r y P r o f i l e 中 的 r o l l u p 项 显 示 为 s a l e s _ r e c o r d s （ 即 基 表 ） ， 说 明 该 查 询 未 使 用 物 化 视 图 加 速 。 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 3 7 3 8 3 9 4 0 4 1 4 2 4 3 4 4 4 5 4 6 4 7 4 8 4 9 5 0 5 1 5 2 5 3 M y S Q L > E X P L A I N S E L E C T s t o r e _ i d , S U M ( s a l e _ a m t ) F R O M s a l e s _ r e c o r d s G R O U P B Y s t o r e _ i d ; + + | E x p l a i n S t r i n g | + + | P L A N F R A G M E N T 0 | | O U T P U T E X P R S : 3 : s t o r e _ i d | 6 : s u m | | P A R T I T I O N : U N P A R T I T I O N E D | | | | R E S U L T S I N K | | | | 4 : E X C H A N G E | | | | P L A N F R A G M E N T 1 | | O U T P U T E X P R S : | | P A R T I T I O N : H A S H _ P A R T I T I O N E D : 3 : s t o r e _ i d | | | | S T R E A M D A T A S I N K | | E X C H A N G E I D : 0 4 | | U N P A R T I T I O N E D | | | | 3 : A G G R E G A T E ( m e r g e f i n a l i z e ) | | | o u t p u t : s u m ( 6 : s u m ) | | | g r o u p b y : 3 : s t o r e _ i d | | | | | 2 : E X C H A N G E | | | | P L A N F R A G M E N T 2 | | O U T P U T E X P R S : | | P A R T I T I O N : R A N D O M | | | | S T R E A M D A T A S I N K | | E X C H A N G E I D : 0 2 | | H A S H _ P A R T I T I O N E D : 3 : s t o r e _ i d | | | | 1 : A G G R E G A T E ( u p d a t e s e r i a l i z e ) | | | S T R E A M I N G | | | o u t p u t : s u m ( 5 : s a l e _ a m t ) | | | g r o u p b y : 3 : s t o r e _ i d | | | | | 0 : O l a p S c a n N o d e | | T A B L E : s a l e s _ r e c o r d s | | P R E A G G R E G A T I O N : O N | | p a r t i t i o n s = 1 / 1 | | r o l l u p : s a l e s _ r e c o r d s | t a b l e t R a t i o = 1 0 / 1 0 | | t a b l e t L i s t = 1 2 0 4 9 , 1 2 0 5 3 , 1 2 0 5 7 , 1 2 0 6 1 , 1 2 0 6 5 , 1 2 0 6 9 , 1 2 0 7 3 , 1 2 0 7 7 , 1 2 0 8 1 , 1 2 0 8 5 | | c a r d i n a l i t y = 1 | | a v g R o w S i z e = 2 . 0 | | n u m N o d e s = 0 | + + 4 5 r o w s i n s e t ( 0 . 0 0 s e c ) 创 建 同 步 物 化 视 图 1 2 3 4 5 C R E A T E M A T E R I A L I Z E D V I E W s t o r e _ a m t A S S E L E C T s t o r e _ i d , S U M ( s a l e _ a m t ) F R O M s a l e s _ r e c o r d s G R O U P B Y s t o r e _ i d ; 验 证 查 询 是 否 命 中 同 步 物 化 视 图 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 3 7 3 8 3 9 4 0 4 1 4 2 4 3 4 4 4 5 4 6 4 7 4 8 4 9 5 0 5 1 M y S Q L > E X P L A I N S E L E C T s t o r e _ i d , S U M ( s a l e _ a m t ) F R O M s a l e s _ r e c o r d s G R O U P B Y s t o r e _ i d ; + + | E x p l a i n S t r i n g | + + | P L A N F R A G M E N T 0 | | O U T P U T E X P R S : 3 : s t o r e _ i d | 6 : s u m | | P A R T I T I O N : U N P A R T I T I O N E D | | | | R E S U L T S I N K | | | | 4 : E X C H A N G E | | | | P L A N F R A G M E N T 1 | | O U T P U T E X P R S : | | P A R T I T I O N : H A S H _ P A R T I T I O N E D : 3 : s t o r e _ i d | | | | S T R E A M D A T A S I N K | | E X C H A N G E I D : 0 4 | | U N P A R T I T I O N E D | | | | 3 : A G G R E G A T E ( m e r g e f i n a l i z e ) | | | o u t p u t : s u m ( 6 : s u m ) | | | g r o u p b y : 3 : s t o r e _ i d | | | | | 2 : E X C H A N G E | | | | P L A N F R A G M E N T 2 | | O U T P U T E X P R S : | | P A R T I T I O N : R A N D O M | | | | S T R E A M D A T A S I N K | | E X C H A N G E I D : 0 2 | | H A S H _ P A R T I T I O N E D : 3 : s t o r e _ i d | | | | 1 : A G G R E G A T E ( u p d a t e s e r i a l i z e ) | | | S T R E A M I N G | | | o u t p u t : s u m ( 5 : s a l e _ a m t ) | | | g r o u p b y : 3 : s t o r e _ i d | | | | | 0 : O l a p S c a n N o d e | | T A B L E : s a l e s _ r e c o r d s | | P R E A G G R E G A T I O N : O N | | p a r t i t i o n s = 1 / 1 | | r o l l u p : s t o r e _ a m t | t a b l e t R a t i o = 1 0 / 1 0 | | t a b l e t L i s t = 1 2 0 9 2 , 1 2 0 9 6 , 1 2 1 0 0 , 1 2 1 0 4 , 1 2 1 0 8 , 1 2 1 1 2 , 1 2 1 1 6 , 1 2 1 2 0 , 1 2 1 2 4 , 1 2 1 2 8 | | c a r d i n a l i t y = 6 | | a v g R o w S i z e = 2 . 0 | | n u m N o d e s = 0 | + + 4 5 r o w s i n s e t ( 0 . 0 0 s e c ) 可 以 看 到 ， 此 时 Q u e r y P r o f i l e 中 的 r o l l u p 项 显 示 为 s t o r e _ a m t （ 即 同 步 物 化 视 图 ） ， 说 明 该 查 询 已 命 中 同 步 物 化 视 图 。 异 步 物 化 视 图 基 础 数 据 准 备 以 下 示 例 基 于 D e f a u l t C a t a l o g 中 的 两 张 基 表 ： 表 g o o d s 包 含 产 品 I D i t e m _ i d 1 、 产 品 名 称 i t e m _ n a m e 和 产 品 价 格 p r i c e 。 表 o r d e r _ l i s t 包 含 订 单 I D o r d e r _ i d 、 客 户 I D c l i e n t _ i d 和 产 品 I D i t e m _ i d 2 。 其 中 i t e m _ i d 1 与 i t e m _ i d 2 等 价 。 建 表 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 C R E A T E T A B L E g o o d s ( i t e m _ i d 1 I N T , i t e m _ n a m e S T R I N G , p r i c e F L O A T ) D I S T R I B U T E D B Y H A S H ( i t e m _ i d 1 ) ; I N S E R T I N T O g o o d s V A L U E S ( 1 0 0 1 , a p p l e , 6 . 5 ) , ( 1 0 0 2 , p e a r , 8 . 0 ) , ( 1 0 0 3 , p o t a t o , 2 . 2 ) ; C R E A T E T A B L E o r d e r _ l i s t ( o r d e r _ i d I N T , c l i e n t _ i d I N T , i t e m _ i d 2 I N T , o r d e r _ d a t e D A T E ) D I S T R I B U T E D B Y H A S H ( o r d e r _ i d ) ; I N S E R T I N T O o r d e r _ l i s t V A L U E S ( 1 0 0 0 1 , 1 0 1 , 1 0 0 1 , 2 0 2 2 0 3 1 3 ) , ( 1 0 0 0 1 , 1 0 1 , 1 0 0 2 , 2 0 2 2 0 3 1 3 ) , ( 1 0 0 0 2 , 1 0 3 , 1 0 0 2 , 2 0 2 2 0 3 1 3 ) , ( 1 0 0 0 2 , 1 0 3 , 1 0 0 3 , 2 0 2 2 0 3 1 4 ) , ( 1 0 0 0 3 , 1 0 2 , 1 0 0 3 , 2 0 2 2 0 3 1 4 ) , ( 1 0 0 0 3 , 1 0 2 , 1 0 0 1 , 2 0 2 2 0 3 1 4 ) ; 业 务 需 求 该 示 例 业 务 场 景 需 要 频 繁 分 析 订 单 总 额 ， 则 查 询 需 要 将 两 张 表 关 联 并 调 用 s u m ( ) 函 数 ， 根 据 订 单 I D 和 总 额 生 成 一 张 新 表 。 除 此 之 外 ， 该 业 务 场 景 需 要 每 天 刷 新 订 单 总 额 。 1 2 3 4 5 S E L E C T o r d e r _ i d , s u m ( g o o d s . p r i c e ) a s t o t a l F R O M o r d e r _ l i s t I N N E R J O I N g o o d s O N g o o d s . i t e m _ i d 1 = o r d e r _ l i s t . i t e m _ i d 2 G R O U P B Y o r d e r _ i d ; 创 建 异 步 物 化 视 图 以 下 示 例 根 据 上 述 查 询 语 句 ， 基 于 表 g o o d s 和 表 o r d e r _ l i s t 创 建 一 个 “ 以 订 单 I D 为 分 组 ， 对 订 单 中 所 有 商 品 价 格 求 和 ” 的 异 步 物 化 视 图 ， 并 设 定 其 刷 新 方 式 为 A S Y N C ， 每 天 自 动 刷 新 。 1 2 3 4 5 6 7 8 C R E A T E M A T E R I A L I Z E D V I E W o r d e r _ m v D I S T R I B U T E D B Y H A S H ( ` o r d e r _ i d ` ) R E F R E S H A S Y N C S T A R T ( 2 0 2 2 0 9 0 1 1 0 : 0 0 : 0 0 ) E V E R Y ( i n t e r v a l 1 d a y ) A S S E L E C T o r d e r _ l i s t . o r d e r _ i d , s u m ( g o o d s . p r i c e ) a s t o t a l F R O M o r d e r _ l i s t I N N E R J O I N g o o d s O N g o o d s . i t e m _ i d 1 = o r d e r _ l i s t . i t e m _ i d 2 G R O U P B Y o r d e r _ i d ; 管 理 异 步 物 化 视 图 查 询 异 步 物 化 视 图 1 2 3 4 5 6 7 8 9 M y S Q L > S E L E C T * F R O M o r d e r _ m v ; + + + | o r d e r _ i d | t o t a l | + + + | 1 0 0 0 1 | 1 4 . 5 | | 1 0 0 0 2 | 1 0 . 2 0 0 0 0 0 0 4 7 6 8 3 7 1 6 | | 1 0 0 0 3 | 8 . 7 0 0 0 0 0 0 4 7 6 8 3 7 1 6 | + + + 3 r o w s i n s e t ( 0 . 0 1 s e c ) 修 改 异 步 物 化 视 图 1 2 3 4 5 6 / / 启 用 被 禁 用 的 异 步 物 化 视 图 （ 将 物 化 视 图 的 状 态 设 置 为 A c t i v e ） 。 A L T E R M A T E R I A L I Z E D V I E W o r d e r _ m v A C T I V E ; / / 修 改 异 步 物 化 视 图 名 称 为 o r d e r _ t o t a l A L T E R M A T E R I A L I Z E D V I E W o r d e r _ m v R E N A M E o r d e r _ t o t a l ; / / 修 改 异 步 物 化 视 图 的 最 大 刷 新 间 隔 为 2 天 。 A L T E R M A T E R I A L I Z E D V I E W o r d e r _ m v R E F R E S H A S Y N C E V E R Y ( I N T E R V A L 2 D A Y ) ; 查 看 异 步 物 化 视 图 1 2 3 S H O W M A T E R I A L I Z E D V I E W S ; S H O W M A T E R I A L I Z E D V I E W S W H E R E N A M E = o r d e r _ m v ; S H O W M A T E R I A L I Z E D V I E W S W H E R E N A M E L I K E o r d e r % ; 查 看 异 步 物 化 视 图 创 建 语 句 1 S H O W C R E A T E M A T E R I A L I Z E D V I E W o r d e r _ m v ; 查 看 异 步 物 化 视 图 的 执 行 状 态 1 s e l e c t * f r o m i n f o r m a t i o n _ s c h e m a . t a s k s o r d e r b y C R E A T E _ T I M E d e s c l i m i t 1 \ \ G ; 删 除 异 步 物 化 视 图 1 D R O P M A T E R I A L I Z E D V I E W o r d e r _ m v ; 1 2 … 1 7 粤 I C P 备 1 5 0 2 8 6 2 2 号 5 © 2 0 2 4 j u n y a o 总 访 客 量 : 总 访 问 量 : 0 % T h e m e N e x T w o r k s b e s t w i t h J a v a S c r i p t e n a b l e d