（来源：上观新闻）
备忘录里🇰🇬写道：“他们🥙的故事建立在👊🧜♂️恐惧、限制☯以及一小群精英应🏰该控制A🐪🚧I的理念之上⛏🤸♀️。平台上有🚂海量的🇸🇽🐯内容，只要👨⚕️有内容违法、❣🌽只要有🏸🆗交易违📙法我都去执法，🍛那肯定👨🦰🇧🇮互联网⚔🇱🇮经济就不要存在♉了🔀🐗。鉴于 Hi👨⚖️ro 宣布将🥗于 4 月🐘 20👯♂️ 日停止🤖❤运营，并于 ♨5 月 13 🇭🇲日删除服务器上🎠🕡的所有数据，此次🥏📯收购实🎧👩🏭质上属于人才收😜🚣♀️购🇸🇿💑。
让我们用一个简⛵化示例说明，假设🍛训练语料包含🕘🌖以下词汇😝💢及出现频率： “👩❤️👩hug”：1😷🆔0次 🌼“pug☑”：5🇦🇮次 “pun”：🇹🇹12次 “b🍋❕un”：🔹4次 “🔟🤷♀️hugs”🙎🥗：5次 👬第一步🇻🇮🎪：将所有词拆分为🇲🇲字符，添😢加结束符 “h🏅🇫🇮ug” → 🇪🇦“h 🥜u g✉国产欧美日韩 ” “pug⛴” → 🥀“p u🛬🍐 g ” “‼pun🇧🇧” →🇭🇲🔦 “p u👨🔬🚲 n ” “bℹun” → “b🕳🕋 u n🇪🇨 ” “hug🔸⛳s” → “h🧠 u g s ♊🌙” 初始词汇表💠🚎仅包含基础字符：☪{b,🐯 g, h, n🚆📇, p,🐦 s, u,🇲🇵🏨 } 第二步☎👩🦱：统计相邻字⏹符对的🛌🤫出现频🅱🍰率 “u g🎞”：1🗾5次（来👩🏭ℹ自“h🥈国产欧美日韩ug”的1🥝📍0次 +🍨🕖 “hu🧜♀️🐘gs”的5次🇰🇿） “🚖❣u n”：1🏴📸6次（来自🔫“pu🚷n”的🇲🇵🛐12次 🍄🥾+ “bun👨✈️”的4次🚐国产欧美日韩） “🤮p u🌦”：17次🦠（来自🦎“pu🌧g”的5次 +🕐 “pu👯🧁n”的🍮12次🍦） 第三步：合并🛋🌽最高频字符对 假♨🐚设“p u”⚖👮♀️频率最高（17次🌜🇷🇼），创👩🙅♂️建新符号“pu”👁️🗨️， 词汇表🇺🇾扩展为：{b3️⃣, g🦈, h,🇳🇪 n, p🇹🇹🚚, s, u🙆♂️🇨🇷, ,🏯 pu}🇳🇬 第四步：迭代🧰😨重复 继续统计新🤶语料中的字符对🗼↔频率，🌇🌙合并下一个🇦🇪🐌最高频💩🐐对，直到达到预📢设的词汇表大小🇸🇾（如GPT😴🦌-2为50,🌆🛩257个t🇮🇸oken）⌚。
