Cao Zihang - Blog

「抵近知识无人区」

【阅】本周阅读摘选2023-01-23 → 2023-01-29

本周阅读摘选 2023-01-23 → 2023-01-29 月初得了新冠，症状比较重，一个月了还没有痊愈，耽误了不少时间 前段时间买了一年的.asia域名，利用vercel部署了RSSHub并在win端利用Fluent Reader订阅了一些有趣的论坛、公众号和博客。摆脱了推荐算法的感觉让我很快乐，对接收信息有很好的掌控感\^o^ 我打算之后每周发布一条阅读摘选，加深对读过的优质信息的印象，以供查阅 目录 学术相关 “研究困惑”的困惑——社会学研究中的理...

Posted by Cao Zihang on February 1, 2023

【数据集】快手推荐系统数据集KuaiRand

偶然看到一个数据集，觉得很有意思 它包含（深度）用户的12个反馈信号和 不知道以后会不会用到，先记录一下 【如何建立比较优势？】 KuaiRand:快手提供的在标准推荐下插入了一些随机暴露项目的用户行为数据集 论文：KuaiRand: An Unbiased Sequential Recommendation Dataset with Randomly Exposed Videos1 数据获取 数据获取：由于《数据出境安全评估办法》且国家网信办尚未批准该项数据出境，暂时只向中国境内机...

Posted by KuaiRand & Cao Zihang on December 30, 2022

【Deep Learning】第17章 蒙特卡罗方法

第17章 蒙特卡罗方法 随机算法可大致分为Las Vegas算法和蒙特卡罗算法 Las Vegas算法精确地返回一个正确答案或失败 占用随机量的计算资源 蒙特卡罗算法消耗固定的计算量返回具有随机大小的错误 增大计算量消耗能减少随机错误 蒙特卡罗采样基础 当我们需要以较小的代价近似许多项的和或某个积分时，采样是一种灵活的选择 当无法精确计算和或积分（如具有指数数量项的和），常用蒙特卡罗采样近似 蒙特卡罗采样把和或积分视作某...

Posted by Cao Zihang on December 20, 2022

【Deep Learning】第12章 应用

第12章 应用 大规模深度学习 计算机视觉 预处理 图像应该被标准化 许多CV架构需要标准尺寸的图像，必须剪裁或缩放图像以适应该尺寸；一些卷积模型接受可变大小输入 对比度归一化 在许多任务中，对比度是能够安全移除的最为明显的变化源之一 对比度：图像中亮像素和暗像素之间差异的大小 图像三维张量对比度：$\sqrt{\frac{1}{3rc}\sum\limits_{i=1}^{r}\sum\limits_{j=1}^{c}\sum\limits_{k=1}^{3}(\mathsf{X}{i,j,k}-\bar...

Posted by Cao Zihang on December 20, 2022

【Deep Learning】第11章 实践方法论

第11章 实践方法论 实践设计流程： 确定目标（依据问题决策） 误差度量方法 目标值 建立端到端的工作流程 估计合适的性能度量 搭建系统 确定性能瓶颈 检查未及预期环节 过拟合&欠拟合 数据缺陷 软件缺陷 反复改进 增...

Posted by Cao Zihang on December 20, 2022

【Deep Learning】第10章 序列建模：循环和递归网络

第10章 序列建模：循环和递归网络 循环神经网络RNN是一类用于处理序列数据的神经网络 RNN可以扩展到很长的序列，大多数RNN能处理可变长度序列 参数共享使模型能够扩展到不同形式的样本（不同长度的样本）并进行泛化 当信息的特定部分在序列内多个位置出现时，参数共享尤为重要 时间序列上的卷积：时延神经网络 卷积允许共享网络跨时间共享参数，但是浅层的 参数共享体现在每个时间步中使用相同的卷积核 循环神经网络参数共享通过输出的每一项是前一项的函数 循环网络通常在序列的小批量上操作，并且小批量的每一项具有不同序...

Posted by Cao Zihang on December 20, 2022

【Deep Learning】第9章 卷积网络

第9章 卷积网络 卷积神经网络CNN是一种专门用来处理具有类似网格结构的数据的神经网络 常用于时间序列数据（时间轴上的一维网格）和图像数据 卷积是一种线性运算 卷积网络指至少在网络的一层中使用卷积运算来代替一般的矩阵乘法运算的神经网络 卷积运算 通常用$\ast$表示卷积运算 $(x\ast w)(t)$一种加权平均的平滑估计 $x$为输入；$w$为核函数；输出有时被称作特征映射 卷起来 连续形式卷积：$s(t)=(x\ast w)(t)=\int x(a)w(t-a)da$ 离散形式卷积：$s(t...

Posted by Cao Zihang on December 20, 2022

【Deep Learning】第8章 深度模型中的优化

第8章 深度模型中的优化 风险最小化→经验风险最小化→代理损失函数最小化 批量/确定性梯度算法：使用整个训练集的优化算法 随机/在线算法：每次只使用单个样本的优化算法 小批量/小批量随机/随机算法：介于批量算法和在线算法的样本量之间 小批量算法优势： 更大的批量会计算更精准的梯度，但回报小于线性($n个样本均值的标准差为 \frac{\sigma}{\sqrt{n}}$) 极小批量难以充分利用多核架构 批量处理中的样本可以并行计算 在GPU上使用2的幂数作为批量大小可以获取更少的运行时间，...

Posted by Cao Zihang on December 20, 2022

【Deep Learning】第7章 深度学习中的正则化

第7章 深度学习中的正则化 参数范数惩罚 正则化后的目标函数$\tilde{J}(\theta;X,y)=J(\theta;X,y)+\alpha\Omega(\theta)$ 其中$\alpha\in [0,\infty)$是权衡范数惩罚项$\Omega$和标准目标函数$J$相对贡献的超参数 最小化正则化后的目标函数$\tilde{J}$会降低标准目标$J$关于测试集的误差并减小在某些衡量标准下参数子集$\theta$的规模 神经网络中，参数包括每一层仿射变换的权重和偏置，通常只对权重做正则惩罚，不对偏...

Posted by Cao Zihang on December 20, 2022

【Deep Learning】第6章 前馈神经网络

第6章 前馈神经网络 深度前馈网络（deep feedforward network） 前馈神经网络（feedforward neural network） 多层感知机（multilayer perception，MLP） 前馈：信息流过$x$的函数，流经$f$的中间计算过程，最终达输出$y$ 前馈模型输出与模型本身之间没有就反馈连接 循环神经网络：前馈神经网络扩展成包含反馈连接 网络：通常用许多不同函数复合在一起表示 深度：函数的链式结构$f(x)=f^{3}(f^{2}(f^{1}(x)))$；$f^...

Posted by Cao Zihang on December 20, 2022

FEATURED TAGS
消费者行为 日常 深度学习 学习笔记 可视化 数智化营销 复杂科学 市场调研 研究方法 世界趋势 仿真与决策 日常工具 LLMs 数据科学 机器学习 ABM 资料 AB测试 供应链管理 城市科学 推荐系统
ABOUT ME

Marketing & Business Analysis
Beijing, China