【GAS×Gemini】画像・音声をAPIに送る！BlobとBase64の仕組みを図解で完全理解

function analyzeImageFromUrl() {
  // ＝＝＝ 事前準備：ご自身の環境に合わせて変更してください ＝＝＝
  const GEMINI_API_KEY = 'ここにあなたのGemini APIキーを入力してください';
  // OpenAI互換エンドポイントを使用する場合のURL
  const GEMINI_CHAT_URL = 'https://generativelanguage.googleapis.com/v1beta/openai/chat/completions';
  const GEMINI_MODEL = 'gemini-2.5-flash';
  
  // 解析対象の画像URL（ご自身の好きな画像URLに変更してください）
  const imageUrl = 'https://www.google.com/images/branding/googlelogo/1x/googlelogo_color_272x92dp.png'; 
  // ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

  // AIの役割（システムロール）とお願い（プロンプト）を指定
  const systemRole = 'あなたはプロの画像アナリストです。与えられた画像を正確に分析し、分かりやすく解説してください。';
  const prompt = 'この画像に写っている主な被写体と、その特徴を3つ教えてください。';

  // ①画像のURLからBlob（袋）オブジェクトを取得する
  const blob = UrlFetchApp.fetch(imageUrl).getBlob();
  
  // ②袋から公式名札（MimeType）を取得する
  const mimeType = blob.getContentType();
  
  // ③文字列（Base64）に変換する
  const base64Image = Utilities.base64Encode(blob.getBytes());

  // ④Data URIスキームという「名札＋暗号文字」のセットを作る
  const dataUrl = `data:${mimeType};base64,${base64Image}`;

  const content = [
    { type: 'text', text: prompt },
    { type: 'image_url', image_url: { url: dataUrl } } // ここにセット！
  ];

  const messages = [
    { role: 'system', content: systemRole },
    { role: 'user', content: content }
  ];

  const payload = {
    model: GEMINI_MODEL,
    messages: messages,
  };

  const params = {
    contentType: 'application/json',
    headers: { Authorization: `Bearer ${GEMINI_API_KEY}` },
    payload: JSON.stringify(payload),
    muteHttpExceptions: true // エラーの詳細を確認しやすくするためにtrueに設定
  };

  // APIへ送信して結果を受け取る
  try {
    const responseBody = UrlFetchApp.fetch(GEMINI_CHAT_URL, params).getContentText();
    const chat = JSON.parse(responseBody);
    
    if (chat.error) {
       console.log("エラーが発生しました: " + chat.error.message);
       return;
    }
    
    const answer = chat.choices[0].message.content;
    console.log("【Geminiの回答】\n" + answer);
  } catch(e) {
    console.log("通信エラー: " + e.message);
  }
}

function analyzeAudioFromUrl() {
  // ＝＝＝ 事前準備：ご自身の環境に合わせて変更してください ＝＝＝
  const GEMINI_API_KEY = 'ここにあなたのGemini APIキーを入力してください';
  const GEMINI_CHAT_URL = 'https://generativelanguage.googleapis.com/v1beta/openai/chat/completions';
  const GEMINI_MODEL = 'gemini-2.5-flash';
  
  // 【修正済み】テスト用のフリー音声URL（Mozilla MDN公式のサンプル音声）
  const audioUrl = 'https://dpgr.am/spacewalk.wav'; 
  // ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

  // 【修正済み】AIのテストによく使われる、超安定したフリー音声（宇宙飛行士の交信音声）
  const systemRole = 'あなたは優秀な通訳・文字起こしアシスタントです。提供された音声を正確に聞き取り、丁寧な言葉遣いで対応します。';
  const prompt = 'この音声データで話されている内容を文字起こしし、さらにそれを日本語に翻訳して教えてください。';

  // ①指定したURLから音声データを取得し、Blob（袋）にする
  const blob = UrlFetchApp.fetch(audioUrl).getBlob();
  
  // ③文字列（Base64）に変換する
  const base64Audio = Utilities.base64Encode(blob.getBytes());

  // ②URLの末尾から短い名札（拡張子: mp3など）を切り取る！
  const fileName = audioUrl.split('?')[0]; 
  const audioFormat = fileName.substring(fileName.lastIndexOf('.') + 1).toLowerCase();

  // 音声ファイルをGemini APIへ送信する準備
  const content = [
    { type: 'text', text: prompt },
    {
      type: 'input_audio',
      input_audio: {
        data: base64Audio,
        format: audioFormat // ここに「mp3」などの短い名札をセット！
      }
    }
  ];

  const messages = [
    { role: 'system', content: systemRole },
    { role: 'user', content: content }
  ];

  const payload = {
    model: GEMINI_MODEL,
    messages: messages,
  };

  const params = {
    contentType: 'application/json',
    headers: { Authorization: `Bearer ${GEMINI_API_KEY}` },
    payload: JSON.stringify(payload),
    muteHttpExceptions: true // エラーの詳細を確認しやすくするためにtrueに設定
  };

  // APIへ送信して結果を受け取る
  try {
    const responseBody = UrlFetchApp.fetch(GEMINI_CHAT_URL, params).getContentText();
    const chat = JSON.parse(responseBody);
    
    if (chat.error) {
       console.log("エラーが発生しました: " + chat.error.message);
       return;
    }
    
    const answer = chat.choices[0].message.content;
    console.log("【Geminiの回答】\n" + answer);
  } catch(e) {
    console.log("通信エラー: " + e.message);
  }
}