长10米宽3米的店面设计,台州百度搜索优化,佛山网站建设骏域,网站站内搜索代码大家好#xff0c;最近的一个大新闻是Meta AI推出了新的开源授权的大型语言模型Llama 2#xff0c;这是一项非常重要的进展。Facebook最初的LLaMA模型于今年2月发布#xff0c;掀起了开源LLM领域的创新浪潮——从微调变体到从零开始的再创造。
如果在Llama 2版本发布之日最近的一个大新闻是Meta AI推出了新的开源授权的大型语言模型Llama 2这是一项非常重要的进展。Facebook最初的LLaMA模型于今年2月发布掀起了开源LLM领域的创新浪潮——从微调变体到从零开始的再创造。
如果在Llama 2版本发布之日由被许可人或被许可人的附属机构提供的产品或服务的月活跃用户在前一个日历月超过7亿则必须向Meta申请许可Meta可自行决定是否授予许可这使得它仍然可以适用于大多数商业用途。
使用LLM访问Llama 2
LLM工具可以通过命令行访问各种语言模型既可以通过网络应用程序接口访问也可以在自己的机器上自行托管。添加插件支持以扩展它对新模型的支持现在一个独立发布的插件可以为现有的CLI工具添加对新模型的支持。
全新的llm-replicate插件提供了对Replicate上托管的模型的CLI访问a16z-infra发布了a16z-infra/llama13b-v2-chat该插件提供了对新的Llama 2 13B聊天模型的Replicate API访问需要一个Replicate API密钥。
使用如下命令安装LLM
pip install llm如果没有安装pip但可以使用Homebrew
brew install simonw/llm/llm运行llm--version确认已安装成功。
接下来安装llm-replicate插件
llm install llm-replicate该插件添加了一组新的llm replicate命令——可以使用llm --help查看。
配置Replicate API密钥以便插件能与API通信
llm keys set replicate
Enter key: paste key here在插件中注册新的a16z-infra/llama13b-v2-chat模型
llm replicate add a16z-infra/llama13b-v2-chat \--chat --alias llama2这就告诉插件它是一个“chat”模型这意味着用户可以与它进行持续对话而不仅仅是发送单个提示。
现在可以使用在这里配置的llama2别名发送提示信息
llm -m llama2 Ten great names for a pet pelican得到的输出如下所示 当然以下是十个适合作为宠物鹈鹕的好名字 花生Peanut一个可爱而活泼的小鹈鹕的名字。 水洼Puddles一个有趣而傻气的名字适用于喜欢在水中嬉戏的鹈鹕。 皮特Pete一个经典的名字适合友好外向的鹈鹕。 彭洛丽Penelope一个漂亮而优雅的名字适合雌性鹈鹕。 佩西Percy一个迷人而精致的名字适合雄性鹈鹕。 皮皮Pippy一个活泼而亲爱的名字适合个性活跃的鹈鹕。 佩尔蒂Pelty一个有趣而古怪的名字适合个性独特的鹈鹕。 皮普Pip一个甜美而讨人喜欢的名字适合小鹈鹕。 勇敢Plucky一个勇敢而冒险的名字适合个性鲜明的鹈鹕。 波比Poppy一个可爱而娇嫩的名字适合性情温和的雌性鹈鹕。 希望这些建议能帮助你为宠物鹈鹕找到一个完美的名字 由于是聊天模型可以在同一对话中发送后续提示
llm -c Five more and make them more nautical Ahoy这里有五个更具海洋气息的名字适合你的宠物鹈鹕 海鸟Seabird适合喜欢海洋及其奇观的鹈鹕的名字。 船长胡克Captain Hook适合勇敢无畏的鹈鹕的英勇名字。 锚Anchor适合始终稳定可靠的鹈鹕的坚固名字。 芬利Finley适合热爱海洋及其生物的鹈鹕的有关鱼的名字。 轻快Buoyant适合心情轻松愉快的鹈鹕的活泼愉快名字。 希望这些建议能让你满意伙计 LLM会将通过它发送的每个提示和响应记录到SQLite数据库中在这里使用--truncate来缩短输出将输出截断以便在本文中显示
llm logs --truncate[{id: 01h5n5b3q6s54e03wtvqe90w2g,model: replicate-a16z-infra-llama13b-v2-chat,prompt: Five more and make them more nautical,system: null,response: Ahoy matey! Here be five more nautical-themed names for yer pet pelican:\n\n1. Captain Hook\n2. Anch...,response_json: null,conversation_id: 01h5n5atsqfg4bhxc53j3ymnx2,duration_ms: 7364,datetime_utc: 2023-07-18T18:48:51.999944,conversation_name: Ten great names for a pet pelic\u2026,conversation_model: replicate-a16z-infra-llama13b-v2-chat},{id: 01h5n5atss6k9zsr5qs5hb2wzd,model: replicate-a16z-infra-llama13b-v2-chat,prompt: Ten great names for a pet pelican,system: null,response: Sure, here are ten great names for a pet pelican:\n\n1. Pelty\n2. Peanut\n3. Puddles\n4. Nibbles\n5. Fu...,response_json: null,conversation_id: 01h5n5atsqfg4bhxc53j3ymnx2,duration_ms: 7873,datetime_utc: 2023-07-18T18:48:42.356413,conversation_name: Ten great names for a pet pelic\u2026,conversation_model: replicate-a16z-infra-llama13b-v2-chat}
]
或运行llm logs path命令查看SQLite数据库文件的路径如果已经安装了Datasette可以使用以下命令打开日志数据库
datasette $(llm logs path)或使用Datasette Desktop
open $(llm logs path)
结语
预计随着模型权重的逐步推出用户将开始看到在其基础上的各种创新。
特别期待以下内容 微调模型。Alpaca、Vicuna等人在原始LLaMA模型的基础上进行微调取得了惊人的成就。预计在接下来的几周内我们将看到数十个微调模型。 实现reAct和Toolformer模式这将使Llama 2能够以类似于OpenAI Functions的方式驱动外部工具。Llama 2的论文已经提到了针对Toolformer提示的测试因此希望这不会太困难。
希望能记录什么类型的提示语能与Llama 2效果良好地配合使用因为预计这一模型在未来一段时间内将成为生态系统中颇具影响力的一部分。
