“ 感知技能 · 叹息CG · 感受艺术 · 感悟心灵 ”夫妻性爱技巧
中国很有影响力影视殊效CG动画范围自媒体
就在东半球的咱们欢度国庆长假的时候,西半球好意思国的跨国科技公司Meta悄悄发了个大招:官宣了他们新的视频生成AI模子—Movie Gen。
Movie Gen由Meta的AI接洽团队斥地,在多项功能上都展现了普及的技能扫尾,梗概提供高质料且结识的践诺生成扫尾,且赈济爽脆的局部裁剪。为专科创意东说念主员和业余意思意思者们,开启了全新的创作可能性。
Movie Gen的横空出世,给了咱们亿点颠簸,趁机给了依然处所无两的OpenAI文生视频AI模子Sora一记重击。
这样说吧,Sora作念获取的,Movie Gen都不错(如创建不同宽高比的高清长视频,赈济1080p区分率、16秒长度以及每秒16帧的帧率);Sora作念不到的,Movie Gen好像…也行(如生成匹配的配景音乐/音效、依据文本指示进行视频裁剪,还能左证用户上传的图像生成个性化视频)。
Movie Gen是Meta对基础AI接洽的一部分,是生成AI职责的第三波扫尾,逼近了图像、视频、音频等多种模态,以一种前所未有的方式让用户梗概进行愈加爽脆的限度。比拟前几代模子,Movie Gen领有更多的生动性和限度选项。
Meta称它为“迄今为止开端进的媒体基础模子”,彰着念念应用它和OpenAI的Sora以及PikaLabs Pika 1.5一较上下。
动作一套先进的用于创建千里浸式叙事体验的模子组合,Movie Gen具备四大才略:视频生成、个性化视频生成、精确视频裁剪和音频生成。
生奏凯果何如?还请列位小伙伴自行品鉴:
PART 1
视频生成
Movie Gen领有30亿参数,梗概证据物体的通顺、主体与客体之间的互动以及录像机移动,同期不错学会为各式办法生成合理的通顺。
梗概左证用户提供的文本指示,创建长达16秒、每秒16帧的高质料、高明显度图像/视频。
这些通过浅近文本描摹来创建的私有高清视频赈济不同高宽比例屏幕,不错在不同的设立和平台上以最好的体式不雅看。
Text input: Transform the lantern into a bubble that soars into the air.
文本输入:将灯笼造成一个气泡,让它升向空中。
Text input: A girl is running across a beach and holding a kite. She's wearing jean shorts and a yellow t-shirt. The sun is shining down.
文本输入:一个一稔牛仔短裤和黄色T恤的女孩正在海滩上驱驰,手里拿着风筝。阳光照射下来。
Text input: A woman is sitting on the grass of a pumpkin patch. She is wearing a scarf and holding a cup. The background is filled with rows of pumpkins.
文本输入:一个女东说念主坐在南瓜田的草地上,她戴着领巾,手里拿着一杯饮料。配景里是一滑排的南瓜。
Text input: Text input: Thunder cracks loudly, with an orchestral music track.
文本输入: 雷声轰鸣,伴有管弦乐音乐。
Text input: The camera is behind a man. The man is shirtless, wearing a green cloth around his waist. He is barefoot. With a fiery object in each hand, he creates wide circular motions. A calm sea is in the background. The atmosphere is mesmerizing, with the fire dance.
文本输入: 录像机位于一个男东说念主的背后。这个男东说念主赤裸上身,腰间系着一块绿色布料,况兼光脚。他双手各抓一个燃烧的物体,作念出大范围的圆周通顺。配景是一派宁静的海。火舞扮演的氛围极度迷东说念主。
Text input: A red-faced monkey with white fur is bathing in a natural hot spring. The monkey is playing in the water with a miniature sail ship in front of it, made of wood with a white sail and a small rudder. The hot spring is surrounded by lush greenery, with rocks and trees
文本输入:一只红脸白毛的山公正在一个自然温泉中沉迷。山公在水中玩耍,眼前有一个木质的小风帆,船上有白色的帆和一个小舵。温泉周围是盛大的绿植,还有岩石和树木。
PART 2
个性化视频生成
Movie Gen扩张了基础模子的功能,加多了个性化视频生成的赈济。
不错左证用户提供的个东说念主像片和一些具体的笔墨描摹,生成包含个东说念主形象的视频。生成的视频不仅视觉细节丰富,稳当描摹性指示践诺,还能保抓东说念主物的个性特征,且动作当然畅通。
Text input:A man is doing a scientific experiment in a lab with rainbow wallpaper. The man has a serious expression and is wearing glasses. He is wearing a white lab coat with a pen in the pocket. The man pours liquid into a glass beaker and a cloud of white smoke blooms
文本输入:一个心思严肃戴着眼镜的男东说念主,亚洲色图校园春色在一间有着彩虹壁纸的实验室里作念科学实验。他一稔一件白色实验服,口袋里插着一支笔。将液体倒入玻璃烧杯中,一团白色的烟雾随之腾起。
Text input: A woman paints a canvas on an easel, in a wood-paneled room. The woman is wearing a white shirt. She has a calm expression as she concentrates on her work. A baby bear cub stands at her feet. The lighting is cool.
文本输入:在一个木质的房间里,一个一稔白色衬衫的女东说念主在画架上作画。她心思安祥,专心于她的作品。一只小熊站在她的脚边。室内的光泽是冷颜色的。
Text input:Make a cute selfie video of a man and his dog. The man is wearing a black shirt. The dog is a beagle puppy. The background is a backyard patio, filled with trees. The man has a big smile on his face, as he tries to take the perfect selfie with his dog. The lighting is warm.
文本输入: 制作一个可儿的自拍视频,视频中又名男人和他的小狗在沿路。这名男人一稔玄色的衬衫,而狗是一只小比格犬。配景是一个树木环绕的后院露台。男人脸上带着灿烂的笑颜,试图和他的狗狗沿路拍出完整的自拍。光泽和气。
Text input:A man sits in the desert, wearing a wide-brimmed hat, a brown coat, and a scarf. The man holds a glass of amber-colored tea. The camera pans from the desert scenery to the person. The lighting is warm, with the sun casting a gentle glow on the scene.
文本输入: 一个男东说念主坐在沙漠中,戴着一顶宽边帽,身着棕色外衣和领巾。男东说念主手里拿着一杯琥珀色的茶。镜头从沙漠舒适移到这个东说念主身上。光泽是和气的,太阳为统统这个词场景投射出轻柔的光芒。
Text input:A woman DJ spins records on a rooftop in LA. She is wearing a pink jacket and giant headphones. There is a cheetah next to the woman. The background is a cityscape
文本输入:又名女性DJ在洛杉矶的一个屋顶上播放唱片。她一稔一件粉红色的夹克,戴着大耳机。支配有一只猎豹。配景是城市麇集。
PART 3
使用文本裁剪视频
基于通常的基础模子,Movie Gen的裁剪功能不错通过摄取视频和文本指示来精确地实行用户需求。连合了视频生成与高档图像裁剪的功能,赈济局部裁剪(如添加、删除或替换视频中的元素)和全局修改(如改变配景或举座作风),况兼仅对视频中的相干践诺进行改造,保证裁剪精度。
此外,Movie Gen赈济从举座作风和过渡效果到细节上的微调等。这意味着用户不错用文本呐喊来完成复杂的裁剪职责,非论是改变视频的举座不雅感如故进行轻细的局部诊疗。
左上:原始视频
右上:让贵客犬穿上粉色带耳朵寝衣
左下:将配景改成一个修剪整王人的皇家花圃,有喷泉和雕像
右下:将贵客犬的神色造成蓝色
左上:原始视频
右上:让他们戴上3D眼镜
左下:将配景改成嘉年华
右下:加上澎湃大雨
左上:原始视频
右上:让企鹅穿上维多利亚时期的服装
左下:添加沙滩伞和沙滩躺椅
右下:形态改为铅笔素描
左上:原始视频
右上:在他手上加上蓝色花球
左下:将配景转换羽化东说念主掌沙漠
右下:将跑步服换成充气恐龙服装
左上:原始视频
右上:将VR头显换成双筒千里镜
左下:移除VR头显
右下:添加气泡和翌日感效果
左上:原始视频
右上:在他手里加上烟花棒
左下:将配景改为户外通顺场
右下:将天外改为北极光
PART 4
创建音频和配乐
Movie Gen查考了一个包含13亿参数的音频生成模子,不错左证视频践诺以及可选的文本指示生成最高达45秒的高品性音频(包括环境音效、拟音效果和配景音乐,况兼这些音频不错与视频践诺同步)。
此外,Movie Gen还引入了一种新技能,不错为任何长度的视频生成连贯的音频或整段配乐。同期保证生成的音频不仅质料高,还能与视频践诺保抓同步,况兼与提供的文本指示保抓一致。
Text input: Rain pours against the cliff and the person, with music playing in the background.
文本输入:雨水流泻在峭壁和东说念主的身上,配景中播放着音乐。
Text input: Rustling leaves and snapping twigs, with an orchestral music track.
文本输入: 沙沙作响的树叶,树枝断裂,伴有管弦乐音乐。
Text input: ATV engine roars and accelerates, with guitar music.
文本输入:ATV引擎轰鸣加快,伴跟着吉他音乐
Text input: Wheels spinning, and a slamming sound as the skateboard lands on concrete.
文本输入:轮子旋转的声息,以及滑板落在混凝土上的撞击声。
Text input: A beautiful orchestral piece that evokes a sense of wonder.
文本输入:一曲令东说念主瞻仰不已的奥密管弦乐。
Text input: Whistling sounds, followed by a sharp explosion and loud crackling.
文本输入:吹哨声,接着是猛烈的爆炸声和响亮的噼啪声。
这展示果然一看一个不吱声啊,这畅通当然经由,说实拍我是真的慑服。
不外现在模子本人还莫得开源,除了现存的演示视频,Meta还公开了92页的接洽论文,其中详备先容了Movie Gen 的架构和查考细节。感风趣的小伙伴不错戳默契↓
https://ai.meta.com/static-resource/movie-gen-research-paper
Movie Gen公测,好像不错期待一波~
河南专技在线end
打了一圈黑传说爱上了UE5!
海外友东说念主多爱黑猴?项目整活悟空!!
4090要停产了?5090发布期间定了夫妻性爱技巧,5090到底有哪些期待点?