在定下来计划之后,钱益先对自己的学科进行了升级。
【姓名:钱益】
【数学:2级(149/1000)
计算机学:2级(149/1000),注:第一学科上限决定其余学科,无法升级,请先完成数学升级。
物理学:2级(109/1000)
隐私计算学:0级(33/33),注:未完善学科,需要完善学科才能够升级。
...】
【可分配积分:1120点(自选学科)】
【特殊物品:学术腐败刻录(未绑定指定对象)X1】
钱益只能够现将数学等级升上去,最新的面板:
【姓名:钱益】
【数学:3级(1000/10000),注:数学3级,已经具备数学家的天赋和思维能力,全方位提升思维,反应,记忆力等基础天赋】
【计算机学:2级(418/1000)】
...
【可分配积分:0点】
【特殊物品:学术腐败刻录(未绑定指定对象)X1】
升级完之后,钱益明显感觉自己整个人迎来了一次蜕变,思维更加的深刻,清晰。
除了数学水平的提升,计算机学理论水平同样巨大的提升。
在其余三人继续APP的后天维护和推广运营的时候,钱益率先开始了具体项目的落实。
AI大模型的微调训练,最大的困难就是资金。
尤其是企业级的运用,按照钱益想要达到的效果,如果常规采用阿里云服务,训练微调70B模型,至少300万。
这还是相对简单的微调训练,像一些国外公司全参数微调,通过多卡A100,都是上千万美元上下的。
这也是如今国外AI大模型走的歪路,笃定的以为只有堆GPU,砸海量的资金,才能够获得更先进更强的AI大模型。
钱益现在准备走的方向,还是希望优化算法,通过更轻量化的训练成本,更少的GPU方案。
有了三级的数学能力之后,钱益开始了新的数学算法的理论突破,同时加入自己全新的改良式自注意力机制,改良式多头注意力机制。
在参数的数据保护上,运用了隐私计算学的全新技术,为了能够提升训练速度和训练效率,钱益参考了联邦学习平台的概念,采用了分布式训练方案。
同时,为了能够让自己部署的AI大模型,能够更深度,更专业的大纲生成,钱益着重编写了三个微调方法:
1.监督微调:使用书籍片段与对应大纲标签训练,如输入“极限定义章节”→输出“1.1数列极限(ε-N定义)”...
2.偏好微调:人工标注大纲质量,层级清晰度,优化模型对于逻辑关系的捕捉。(当然,最关键的还是要建立在全新的改良式注意力机制上。)
3.强化学习:添加奖励模型,惩罚生成错误的大纲分支...
花了一天时间,钱益将整个训练和微调方案设计完毕。
有了具体的落地方案后,钱益将公司的天使投资人,冷静,王冰冰叫了过来,三个人开了一个领导层的会议。
员工层的陈剑和唐嘉祺两人留守值班。
钱益将罗列好的训练和微调计划,发给了两个天使投资人。
“按照我目前的计划,由于前期的资金有限,所以只能够走低成本方案,通过已经开源的项目进行微调训练。”
毕竟,如果完全靠自己去架构一个新的AI大模型,需要的资源,资金,硬件设备,人员配置等都是海量的,钱益目前还不具备。
冷静对于这方面略有了解:
“钱益,如果你准备采用开源授权框架的话,有一个问题,就是对于用户规模是有限制的,免费版月活用户数小于7亿用户。而且,按照开源协议,是需要将微调模型修改部分,进行代码开源的。同时保证训练的数据需要无争议,符合数据规范。”
“这些你有考虑过么?”
对于冷静的疑问,钱益早有了应对。
“按照我们幕布APP目前的发展,达到月活7亿用户还有很长的路。而且,这只是我们第一次的创业,只是一个积累经验,积累原始资金的阶段。后续真的等幕布发展起来,有了资金之后,我会尝试开发一个属于自己的AI大模型。”
听到钱益有些近乎狂妄的话,冷静沉默了一会,想想这短短几个月钱益的成长,谁敢说不可能呢?
“至于,修改部分的代码需要开源,那就更不是事情了。我的全新模块,如果能够启发和推动AI大模型的发展,那可是好事情。对于我个人的声望和知名度都是意义非凡的。”
有了黑科技面板,钱益不会敝帚自珍,他有着绝对的自信。
而且,有了这种革命性的开源项目背书,之后,对于筹措资金,开展合作都是有着积极意义的。
之前,李院士,高院士有意给自己筹建一个隐私计算学研究中心,这也算是自己给他们的一粒定心丸!让他们能够更加坚定的投资和培养自己。
王冰冰对于钱益早就是盲目的崇拜了,说啥是啥。
冷静看着志气高远的钱益,同样有些重新认识眼前这个年轻人,虽然比自己年级小了点,但是依旧充满了吸引力和魅力!
“好,既然决定了,那我们就按照这个方向走。你说说接下来,需要我们做什么。”
钱益找来两个小富婆,当然是为了讨钱了。
“我罗列了下,虽然经过我的优化和分布式训练方案,依旧需要一大笔资金。”
“首先是云服务租赁,多卡A100,需要15万元/月,好在经过我的优化加速,预计5周就可以完成训练。”
“由于,我们需要着重的针对大学生群体,以数学,物理,计算机学等为主要方向,所以对于模型的要求还是很高的。为了能够更好的解决抽象概念的理解,需要精选一批学科经典教材进行训练。”
“所以,还需要聘任一批学科内的专家作为顾问精选出至少5000本教材书籍,这部分书籍的人工标注工作,仅仅靠我们工作室是不可能完成的,所以需要外包,这个人工标注费,我大概咨询了下,需要70-80万。”
“至于学科专家的话,至少10万。”
“加上其他零零散散的费用,我合计了下,最省,最省的情况下,至少需要180万。之前,我从360科技拿了50万预付款,剩下的50万还要等项目结束。”
“算上冰冰,冷老师,以及竞赛的奖金,我们公司账上现在只剩下了45万。”
“最好的情况下,我向王总预支剩下的50万,算上幕布APP的会员收入,我们现阶段还差不少钱。”
听到钱益的资金缺口,冷静立马拿出了手机,开始了计算手上的理财产品,准备提现出来部分。
王冰冰同样拿出了手机进行了操作。
没多久,两个红颜知己,全部拿出了自己的诚意。