Ollama部署本地AI大模型
Ollama官网DeepSeek本地部署+联网搜索+知识库 相关常用命令 (cmd)1234567891011121314151617181920# 查看版本ollama -v# 查看模型列表ollama list# 下载模型ollama pull deepseek-r1:8b# 运行一个模型（第一次运行若未下载会自动下载）ollama run deepseek-r1:8b# 查看运行中的模型ollama ps# 停止运行中的模型ollama stop deepseek-r1:8b# 删除模型ollama rm qwen2.5:7b 可视化配置（Edge插件）获取 Page Assist 扩展 知识库配置12# 下载文本嵌入模型ollama pull shaw/dmeta-embedding-zh 在RAG设置中配置文本嵌入模型 添加知识库文件 测试导入知识库前 导入知识库后
医药项目：数据清洗、合并
SparkSQLSpark SQL 是 Apache Spark 生态系统中的一个核心模块，专门用于处理结构化数据。它为用户提供了使用 SQL 语句或 DataFrame API 来查询和操作数据的能力，极大地简化了大数据分析任务的开发流程。 一、Spark SQL 的核心特点 统一的数据访问方式Spark SQL 支持从多种数据源读取数据，包括： JSON、Parquet、ORC、CSV 等文件格式 JDBC/ODBC 接口连接传统数据库（如 MySQL、PostgreSQL） Hive 表（通过 HiveContext） Kafka 流数据（结合 Structured Streaming） SQL 支持用户可以直接使用标准 SQL 查询数据，例如： 1SELECT name, age FROM people WHERE age > 30 这使得熟悉 SQL 的数据分析师可以轻松上手。 DataFrame 和 Dataset APISpark SQL 提供了高层次的抽象： DataFrame：以结构化方式组织的分布式数据集，类似于传统数据库中的表或 P...
数仓分层设计架构
何为数仓（DW）Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。 数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。目前行业比较流行的有：AWS Redshift，Greenplum，Hive等。 数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包含：清洗、转义、分类、重组、合并、拆分、统计等 数据分层在数据开发（尤其是数据仓库建设）中，经常提到的 “层” 是为了规范数据处理流程、提高数据复用性和维护性而划分的不同数据处理阶段。常见的分层包括 ODS、DWD、DWS、ADS 等，每层有明确的职责和数据处理目标。 1. ODS 层：操作数据存储层（Operational Data Store）也称：贴源层 作用：作为数据的 “入口”，直接对接业务系统（如 ERP、CRM、日志系统等），存储原始数据。 特点： ...
计算机网络相关
计算机网络的OSI七层模型https://blog.csdn.net/m0_62006803/article/details/134516305 口诀：物-数-网-传-会-表-应 物理层（Physical Layer） 数据链路层（Data Link Layer） 网络层（Network Layer） 传输层（Transport Layer） 会话层（Session Layer） 表示层（Presentation Layer） 应用层（Application Layer） TCP与UDP的位置及其区别tcp与udp的位置TCP和UDP都是传输层协议，处于OSI参考模型的第四层。在TCP/IP协议栈中，TCP和UDP也位于网络层和应用层之间，负责提供端到端的数据传输服务。其中，TCP是一种面向连接的协议，提供可靠的数据传输服务，而UDP则是一种无连接的协议，提供不可靠但高效的数据传输服务。由于UDP比较简单，UDP头包含很少的字节，比TCP负载消耗少。 tcp与udp的区别 连接导向 vs 无连接：TCP是一种面向连接的协议，通信双方在传输数据前需要先建立连接，然...
医药器械法规AI项目
服务器cdh服务器主机: 192.168.8.67端口: 22用户: root密码: zhiyun当前服务器平台版本：CDH6.3http://192.168.8.67:7180/cmf/login 用户密码都是 admin 12345678910# 创建个人目录mkdir -p /zhiyun/lijinquancd /zhiyun/lijinquan# 创建5个功能目录# data - 存放数据文件# jobs - 存放datax的配置文件# sql - sql脚本# shell - shell脚本# python - python脚本mkdir data jobs sql shell python 数据库主机：192.168.8.8数据库：jd密码：123456 配置文件编写1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162{ "job": { /...
医药器械法规AI项目（数据爬取部分）
项目需求实现输入商品信息接口，提交商品后根据现有法律法规判断商品是否符合法律法规（暂定） 医药器械网站NMPA：医疗器械法规文件CMDE：国家药品监督管理局医疗器械技术审评中心—-法规文件药智：政策法规数据库_药智数据 NMPA数据爬取（国家药品监督管理局）首页：医疗器械法规文件实现效果：爬取以上链接每篇文章的【索引号、标题、分类、日期、文章内容、链接】并导入数据库，若有附件则将其下载至对应路径（\attachments\nmpa\索引号\文章标题\），数据库保存其附件路径及附件数。 建表1234567891011121314CREATE TABLE `hwz_nmpa` ( `id` INT NOT NULL AUTO_INCREMENT COMMENT '自增主键', `index_id` VARCHAR(50) NOT NULL COMMENT '索引号', `title` VARCHAR(200) NOT NULL COMMENT '标题', `category` VARCHAR(50) COMMENT ...
亚马逊爬取
需求 打开亚马逊网址：[https://www.amazon.com/gp/bestsellers/] 根据制定的大类类目Baby/Gifts去每个小类目下统计best sellers前100名的以下指标：【分类、商品ID、标题、图片、价格、链接】 把相应信息写入数据库 把本次写入数据和上次写入数据做分析 把有新冲上来的链接、哪条链接调价的结果，发消息通知我（QQ邮箱） 表设计1234567891011CREATE TABLE amazon_items (id INT PRIMARY KEY AUTO_INCREMENT, --自增主键categories VARCHAR(64) COMMENT '分类',item_id VARCHAR(64) COMMENT '商品ID',title VARCHAR(255) COMMENT '标题',img_url VARCHAR(255) COMMENT '图片链接',price DECIMAL(8, 2) COMMENT '价格'...
Zabbix安装介绍
Zabbix介绍Zabbix 是一款功能强大的企业级开源监控解决方案，专为实时监控IT基础设施（包括网络、服务器、应用程序和服务）的性能和可用性而设计。Zabbix特别适合需要深度监控和自定义监控需求的企业环境，其强大的灵活性和扩展性使其成为IT监控领域的领先解决方案之一。 官方文档：https://www.zabbix.com/documentation 社区论坛：https://www.zabbix.com/forum GitHub仓库：https://github.com/zabbix/zabbix 核心功能 实时监控：支持秒级数据采集 自动发现：自动发现网络设备、服务器和服务 告警通知：支持多种告警方式（邮件、短信、微信等） 可视化：提供丰富的图表和仪表盘 分布式监控：支持多级代理架构 主要组件 组件 功能描述 Zabbix Server 核心服务，负责数据处理、触发告警 Zabbix Agent 安装在监控目标上的数据采集代理 Zabbix Proxy 分布式监控的中间代理 Zabbix Web 基于PHP的Web管理界面 Zabbix ...
影刀RPA爬取京东商品
需求 商品ID item_id 商品链接 item_link 标题 item_title 门店名称 store 封面 cover_link 原价 original_cost 折扣价 discount_cost 品牌 brand 型号 type 评论数 comments 建表1234567891011121314151617CREATE TABLE IF NOT EXISTS `jd_items` ( `id` INT NOT NULL AUTO_INCREMENT COMMENT '自增主键', `item_id` varchar(255) NOT NULL COMMENT '商品ID', `item_link` varchar(255) NOT NULL COMMENT '地址 http开头', `store` varchar(64) NOT NULL COMMENT '门店名称', `title` varchar(255) NOT NULL COMMENT '商品标题...
k8s部署tomcat
k8s部署tomcattomcat4.0.yaml 文件用于在 Kubernetes 集群中部署包含 Tomcat 应用和 Nginx 负载均衡器的应用环境，包含以下主要组成部分： 命名空间：创建 fr-server 命名空间，用于资源隔离。 Tomcat StatefulSet：部署两个 Tomcat 实例，使用 tomcat:9.0.44 - jdk8 镜像，将物理机 /root/tomcat_server/webroot 目录挂载到容器 /usr/local/tomcat/webapps/fr 目录。同时使用 Pod 反亲和性策略，确保实例分布在不同节点。 Tomcat 服务：创建 ClusterIP 类型服务，将集群内部流量转发到 Tomcat Pod 的 8080 端口。 Nginx ConfigMap：存储 Nginx 的配置文件，配置 Nginx 将请求代理到 Tomcat 后端服务。 Nginx Deployment：部署一个 Nginx 实例，使用 nginx:1.21.6 镜像，将 ConfigMap 中的配置文件挂载到容器内。 Nginx 服务：创建 N...
