详情

大模子创业太累万博manbext体育官网，又一大牛决定重回大厂。

Yi Tay，曾是 Reka AI 调处创举东说念主，曾经是谷歌大模子 PaLM、UL2、Flan-2、Bard 的广宽参与者。

本周是他回到谷歌的第一周，亦然他辞职创业一年半之后，选拔记忆老身份的开动。

他将不绝担任谷歌 DeepMind 高档研究员，向谷歌大神、亦然他之前的雇主 Quoc Le 请问。

追想当年这段创业阅历，他暗示学到了许多，比如基础模范方面的学问、何如从新开动进修大模子等等。

但与此同期，他也阅历了一些不那么好的时刻：

公司而已筹集的一亿多好意思金，对于一个不到 15 个东说念主的团队仍然急切，还差点卖身自救。

个东说念主层面，他的身心健康受到了很大影响。由于责任强度大和不健康的生计模式，他还长胖了 15 公斤。

为此他暗示：

废弃重生区并创业对我个东说念主来说确切很可怕。

大牛重回谷歌大厂

客岁三月末，他官宣辞职谷歌参与创业 RekaAI，并担任该公司的首席科学家。

在此之前，他在谷歌大脑责任了 3.3 年，参与诸多大模子的研究，撰写累计约 45 篇论文，其中 16 篇一作，包括 UL2、U-PaLM、DSI、Synthesizer、Charformer 和 Long Range Arena 等，约 20 次居品发布，妥妥大牛一位。

从期间角度上讲，他坦言学到了许多对于在谷歌没法学到的学问。

比如学会使用 Pytorch/GPU 和其他外部基础模范，以老本最优的模式从新构建特地好的模子。

为此他还在个东说念主网站上共享了相关教授：进修模子的首要要求是取得缱绻武艺，但这一流程就梗概买彩票。

并非统统硬件齐是相似的。不同算力提供商的集群质料相反特地大，甚至于要念念进修出好的模子需要付出多大的代价，这险些即是在抽签。简而言之，LLM 期间的硬件彩票。

这与在谷歌使用 TPU 比拟，这些 GPU 的故障率让他大吃一惊。

此外他还吐槽外部代码库的质料远远逾期谷歌的质料，这些代码库对大范围编码器 - 解码器进修的解救特地少。

但这种抓续遭受问题抓续惩处的教授， 并非不幸反而很道理，况且最终凭借着自己期间实力也挺了过来。

在创业初期，他们的旗舰模子 Reka Core 在 Lmsys 初次亮相，就置身第 7 位，公司排行前五，已毕了对 GPT-4 早期版块的卓著。

目下他们主要有四个模子，适用于不同的运用场景。

而着实"打倒"他驱使他辞职的，是更为践诺的原因。

就公司层面来说，动作初创企业，其资金、算力和东说念主力跟其他实验室比拟齐要少得多。

就算他们分批筹集了一亿多好意思金，对于一个不到 15 东说念主的团队仍然不够。

本年 5 月 Reka AI 还被曝出卖身自救，Snowflake 正就以逾越 10 亿好意思元收购 Reka AI 的事宜谈判。

不外目下来看，收购事宜还莫得谈成。在 Yi Tay 布告新动向后，他们广宽发声，目下公司还在积极招东说念主 ing。

而就他个东说念主来说，这是段特地急切的时期。尤其刚开动创业的时候太太孕珠，他不得不同期兼顾双方，由此身心健康受到很大的损伤。

况且由于高强度的责任和不健康的生计模式，他长胖了 15 公斤。

不外他我方曾经清楚过我方有休眠阻遏。

种种原因，他决定重回谷歌，记忆到一个研究者的身份。

在初创企业天下探索了一年半之后，我决定记忆我的研究根基。

在共享阅历的开动，他写下了这么一句话。

回到谷歌之后，他将探索与大模子相关的研究标的，以高档研究员的身份，向大神 Quoc Le 请问。

在博客的终末，他感谢了创业这段期间永恒相关的谷歌老一又友。

况且还专诚感谢了在新加坡同他共进晚餐的 Jeff Dean，况且教唆他 Google 很棒。（Doge）

谷歌老共事：宽待回来

一些谷歌老共事在下面纷纷暗示：Welcome back！嗅觉像是过了十年。

值得一提的是，像这种大牛重返大厂并非个例。

本年 8 月谷歌以 25 亿好意思元打包带走了明星 AI 独角兽 Character.AI 的中枢期间团队，远高于 Character.AI 10 亿好意思元的估值。

其中包括两位创举东说念主—— Transformer "孝敬最大"作家 Noam Shazeer 和 Daniel De Freitas。其中 Noam Shazeer 出任 Gemini 调处期间独揽。

这么看起来，对于这些大牛来说，大模子创业如实不易，重返大厂如实是个可以的选拔，至少钱够算力够、安自在心作念研究。

而跟着新一轮的洗牌期到来，更多期间大牛朝着科技巨头蚁集，也依然初见条理。

参考辩论：

[ 1 ] https://x.com/YiTayML

[ 2 ] https://www.yitay.net/?author=636616684c5e64780328eece

[ 3 ] https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilderness

[ 4 ] https://www.yitay.net/blog/leaving-google-brain万博manbext体育官网