GeneFace复现
简单记录了下跑GeneFace代码的流程还有自己踩的一些坑
官方仓库
环境配置依照环境配置文档逐步进行环境配置
CUDA和安装Python库去autoDL租了块3090，然后按文档配置CUDA和Python库直接依照指示就行中途遇到问题使用sudo apt update更新本地缓存
晚上回来后AutoDL帮助文档
按帮助文档指引通过wsl打开ubuntu ssh连接后执行jupyter-lab发现问题重新下载 pip install jupyterlab
问题解决
2023-09-03 11:36:32pip install -r docs/prepare_env/requirements.txt 出错
修改numpy版本解决冲突
还是报错
发现numpy版本应该是~=再次修改
准备3DMM模型下载3DMM model(需要申请)
剩下的文件直接下载，通过阿里云盘传到autoDL然后按照指示移动到指定文件夹mv文件遇到问题mkdir -p创建文件夹就行
解压 BaselFaceModel.tgz哈哈哈哈每次都要查阅命令tar -xzf ./deep_3drecon/BFM/Basel ...
论文阅读：GENEFACE GENERALIZED AND HIGH-FIDELITY AUDIO-DRIVEN 3D TALKING FACE SYNTHESIS
这两天读了GeneFace的论文并且跑了下代码，简短地记了些东西
Abstract任务: Generating photo-realistic video portrait with arbitrary speech audiotalking face generation下图是官方演示页面中用唱歌声生成人脸的demo的动图（复现的时候读文档发现这个歌曲是DiffSinger生成的，没玩过这个模型后面可以玩玩~）贡献：提出了Gene-Face，一种基于NeRF的模型首先在唇语语料上训练variaitional motion generator，使用post-net标定结果此外提出一种head-aware torso-NeRF来渲染预测到的面部运动上个GeneFace的结构图吧,还是看图直观捏，简而言之模型分为三部分
Introduction之前一直使用GAN做渲染器，但是因为GAN的各种蛋疼问题（难train和模式坍塌你懂的）目前流行用NeRF做最近的端到端的框架面临两个问题
weak generalizability due to the small scale of traini ...
hexo个人博客搭建
占个坑，后面上传一下此博客搭建的相关内容✌
Hello World
这是小赵博客的第一篇博客捏~
欢迎大家关注喵！欢迎大家关注喵！欢迎大家关注喵！